支持向量机教程


1 数学基础

    1.1 什么是支持向量?

    1.2 什么是超平面?

    1.3 超平面数学方程

    1.4 点到平面的距离

    1.5 函数间隔和几何间隔

2 SVM内容

    2.1 SVM的数学表达式

    2.2 对偶问题

    2.3 拉格朗日函数

    2.4 拉格朗日乘子法

3 扩展服务

    3.1 扩展服务

超平面的数学方程

阅读次数:1322 次

导读:合抱之木,生于毫末,这句话放在此文非常合适。超平面的数学方程,起源于法线向量的定义,然后延伸到三维空间中平面的点法式方程,随后再演化为三维空间中平面的一般方程,最后升华为超平面的数学方程。

1、法线向量

如果一非零向量垂直于平面,这个向量就叫做该平面的法线向量

由上述定义可知,平面上的任一向量均与该法线向量垂直。

因为过空间一点可以作而且只能作一个平面垂直于法线向量,所以当平面上一点$M_0(x_0,y_0,z_0)$和法线向量$\overrightarrow{n}=(A,B,C)$已知时,平面的位置就完全确定了。

2、三维空间中平面的点法式方程

设$M(x,y,z)$是平面上的任一点,那么向量$\overrightarrow{M_0M}$必与平面的法线向量$n$垂直,即它们的数量积等于零:

$$n \bullet \overrightarrow{M_0M}=0 $$

由于:

  • $n=(A,B,C)$

  • $\overrightarrow{M_0M} = (x-x_0, y-y_0, y-y_0)$

所以有:

$$A(x-x_0)+ B(y-y_0)+ C(z-z_0)=0 \to (1)$$

3、平面的点法式方程的局限性

由于方程式中带有特殊点$M_0(x_0,y_0,z_0)$,所以这个方程不具有普遍性,还需要进一步推导平面的一般方程,请继续看下文。

4、推导:三维空间中平面的一般方程

由于平面的点法式方程是$x,y,z$的一次方程,而任一平面都可以用它上面的一点及它的法线向量来确定,所以任一平面都可以用三元一次方程来表示。反过来,设有三元一次方程:

$$Ax + By + Cz + D = 0 \to (2)$$

我们任取满足该方程的一组数$x_0,y_0,z_0$,即:

$$Ax_0 + By_0 + Cz_0 + D = 0 \to (3)$$

把上述两式相减,得:

$$A(x-x_0)+ B(y-y_0)+C(z-z_0)=0 \to (4) $$

把方程(4)和方程(1)作比较,可以知道方程(4)的含义:它是通过点$M_0(x_0,y_0,z_0)$且以$\overrightarrow{n}=(A,B,C)$为法线向量的平面方程。

因为方程(2)与方程(4)同解,理由是:由方程(2)减去方程(3)即得方程(4),而方程(4)加上方程(3)再返回为方程(2),这是一种完全可逆的情况。由此可知,任一三元一次方程(2)的图形也总是一个平面。至此,我们推导出了平面的一般方程,也就是上文中的方程(2),其中$x$、$y$、$z$的系数就是该平面的一个法线向量$\overrightarrow{n}$的坐标,即$\overrightarrow{n}=(A,B,C)$。

5、超平面的数学方程

三维空间的平面方程是三元一次方程:

$$Ax + By + Cz + D = 0 $$

由此可以推理出:高维空间的超平面方程是$n$元一次方程:

$$w_1x_1 + w_2x_2 + ... + w_nx_n + b = 0 $$

用向量的形式表示上面的式子为:

$$ [w_1,w_2,...w_n] \bullet \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{bmatrix} + b => W^T \bullet X + b = 0$$

备注:因为通常都是列向量,所以加以T转置以表示行向量,可以参考 列向量的表示法