支持向量机教程


1 数学基础

    1.1 什么是支持向量?

    1.2 什么是超平面?

    1.3 超平面数学方程

    1.4 点到平面的距离

    1.5 函数间隔和几何间隔

2 SVM内容

    2.1 SVM的数学表达式

    2.2 对偶问题

    2.3 拉格朗日函数

    2.4 拉格朗日乘子法

3 扩展服务

    3.1 扩展服务

什么是超平面?

阅读次数:1324 次

前言

很多人不理解超平面,本质的原因不是超平面这个东西多难理解,而是没有理解平面的数学方程,究其原因就是人人都想快餐式的学习,而不想稍微花费点时间,不去理清平面数学方程的来龙去脉。理解了平面数学方程,则超平面很容易理解的,如果只想图快,跳过平面和平面的数学方程,否则真不如洗洗睡了,别白费时间了。

什么是超平面?

超平面是纯粹的数学概念,不是现实的物理概念,所以它只有数学表示形式,如下所示:

$$w_1x_1 + w_2x_2 + ... + w_nx_n + b = 0 $$

高维空间的超平面方程是$n$元一次方程,用向量的形式表示上面的式子为:

$$ [w_1,w_2,...w_n] \bullet \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{bmatrix} + b => W^T \bullet X + b = 0$$

备注:因为通常都是列向量,所以加以T转置以表示行向量,可以参考 列向量的表示法

补充说明:

在高维空间的超平面方程是$n$元一次方程,大家千万不要看到“一次方程”就感觉简单,但是别忘了,它可是$n$元的。至于为什么是这样的形式,是从“法线向量”这个简单的概念一步一步延伸和升华出来的,更多内容,请移步下一节的内容: 超平面的数学方程