支持向量机(Support Vector Machine):超平面

时间:2022-03-24 03:23:12

超平面

超平面是 $n$ 维空间的 $n-1$ 维子空间,类似二维空间的直线,三维空间的平面。

分类学习最基本的想法就是基于训练集D在样本空间中找到一个划分超平面,将不同类别的样本分开。以二维空间为例:

支持向量机(Support Vector Machine):超平面

如图所示,若要把图中的红圆和蓝圆分开,有许多直线可以选择,而这些直线的定义就是: $Ax+By+C = 0$。

同理,如果是在三维空间中就是$Ax+By+Cz+D=0$。

当在更高的维数时,就是 $\omega _{1}x_{1} + \omega _{2}x_{2}+\omega _{3}x_{3}+\cdots +\omega _{d}x_{d}+b$,用向量形式表达就是:

$\mathbf{\omega }^{T}\mathbf{x}+b=0$

其中 $\mathbf{\omega }=(\omega_{1 };\omega_{1 };\cdots ;\omega_{d }) $为法向量,决定了超平面的方向,为什么它就是法向量呢?看一下下面的高数知识就懂了。

支持向量机(Support Vector Machine):超平面

点到超平面的距离

根据点到直线和点到平面的距离可推断出空间中任意点$\mathbf{x}$到超平面的距离为:

$r=\frac{|\mathbf{\omega }^{T}\mathbf{x}+b|}{\left \| \mathbf{\omega } \right \|}$

具体的推导就是:

支持向量机(Support Vector Machine):超平面