近来，了解了一下SVM（支持向量机 support vector machine）的原理。顺便把自己理解的内容整理一下。
不讲背景啦，直接切入主题。
一、什么是支持向量机
好比说，我们现在在一个平面上有许多的圈圈和叉叉，如图1.1所示。
图1.1
现在需要一条直线将圈圈和叉叉分开，可以想象，会有很多条可能的直线，但是会有一条最佳的分割线L，如图1.2所示。
图1.2
绿色的叉叉到L的最短距离为d1，红色圈圈到L的最短距离为d2，保证d1=d2，并且使d1+d2的值最大，那么这条直线就是最佳的分割线。具体的表示如图1.3所示
图1.3
图1.3中，蓝色的虚线分别为H1和H2，每一个圈圈和叉叉都可以看成一个向量，落在蓝色虚线上的叉叉和圈圈就称为“支持向量”，那么没有在边缘上的向量就是“非支持向量”。
另外，在SVM中，我们经常听到“超平面”的概念。什么是超平面呢？当图中的圈圈和叉叉是二维的时候，那么L就是一条直线；当图中的圈圈和叉叉是三维的时候，那么L就是一个平面；当图中圈圈和叉叉是三维以上的时候，那么L就是一个超平面。
图中的每个圈圈和叉叉都是一个样本，圈圈和叉叉的维数表示样本的特征数量。
二、怎么用数学描述超平面
如图2.1所示，设超平面L的法向量为$\overset{\scriptscriptstyle\rightharpoonup}{w}$ ，某一样本向量为$\overset{\scriptscriptstyle\rightharpoonup}{u}$，则$\overset{\scriptscriptstyle\rightharpoonup}{u}$在$\overset{\scriptscriptstyle\rightharpoonup}{w}$上的投影为$\frac{\overset{\scriptscriptstyle\rightharpoonup}{u}\centerdot \overset{\scriptscriptstyle\rightharpoonup}{w}}{||\overset{\scriptscriptstyle\rightharpoonup}{w}||}$。
对于所有的圈圈样本（正样本），有：
$\frac{{{{\overset{\scriptscriptstyle\rightharpoonup}{x}}}_{+}}\centerdot \overset{\scriptscriptstyle\rightharpoonup}{w}}{||\overset{\scriptscriptstyle\rightharpoonup}{w}||}>c$，其中${{\overset{\scriptscriptstyle\rightharpoonup}{x}}_{+}}$为正样本向量
对于所有的叉叉样本（负样本），有：
$\frac{{{{\overset{\scriptscriptstyle\rightharpoonup}{x}}}_{-}}\centerdot \overset{\scriptscriptstyle\rightharpoonup}{w}}{||\overset{\scriptscriptstyle\rightharpoonup}{w}||}<c$，其中${{\overset{\scriptscriptstyle\rightharpoonup}{x}}_{-}}$为负样本向量
图2.1
令$b=-c||\overset{\scriptscriptstyle\rightharpoonup}{w}||$ ，可得：
${{\overset{\scriptscriptstyle\rightharpoonup}{x}}_{+}}\centerdot \overset{\scriptscriptstyle\rightharpoonup}{w}+b>0$ ， ${{\overset{\scriptscriptstyle\rightharpoonup}{x}}_{-}}\centerdot \overset{\scriptscriptstyle\rightharpoonup}{w}+b<0$ ①
因为$\overset{\scriptscriptstyle\rightharpoonup}{w}$和$b$都是未知量，同时缩放$\overset{\scriptscriptstyle\rightharpoonup}{w}$和$b$对结果无影响，不妨令：
${{\overset{\scriptscriptstyle\rightharpoonup}{x}}_{+}}\centerdot \overset{\scriptscriptstyle\rightharpoonup}{w}+b\ge 1$ ， ${{\overset{\scriptscriptstyle\rightharpoonup}{x}}_{-}}\centerdot \overset{\scriptscriptstyle\rightharpoonup}{w}+b\le 1$ ②
令${{y}_{i}}$ 表示第i个样本的分类结果。
对于负样本，令${{y}_{i}}=-1$，对于正样本，令${{y}_{i}}=+1$，结合②中的不等式，可以得到：
${{y}_{i}}({{\overset{\scriptscriptstyle\rightharpoonup}{x}}_{i}}\centerdot \overset{\scriptscriptstyle\rightharpoonup}{w}+b)-1\ge 0,\forall i$
好了，目前推到了那么多公式，我们来总结一下，如图2.2所示，
在平面L上的点x满足：${{\overset{\scriptscriptstyle\rightharpoonup}{x}}_{{}}}\centerdot \overset{\scriptscriptstyle\rightharpoonup}{w}+b=0$
在平面H1上的点x满足：${{\overset{\scriptscriptstyle\rightharpoonup}{x}}_{{}}}\centerdot \overset{\scriptscriptstyle\rightharpoonup}{w}+b=1$
在平面H2上的点x满足：${{\overset{\scriptscriptstyle\rightharpoonup}{x}}_{{}}}\centerdot \overset{\scriptscriptstyle\rightharpoonup}{w}+b=-1$
图2.2
至此，我们了解了什么是支持向量机，并且完成对超平面的数学描述，下面就是怎样找到这样的一个超平面的问题啦，请见下一篇博文：SVM入门（二）。