支持向量机教程


1 数学基础

    1.1 什么是支持向量?

    1.2 什么是超平面?

    1.3 超平面数学方程

    1.4 点到平面的距离

    1.5 函数间隔和几何间隔

2 SVM内容

    2.1 SVM的数学表达式

    2.2 对偶问题

    2.3 拉格朗日函数

    2.4 拉格朗日乘子法

3 扩展服务

    3.1 扩展服务

SVM的数学表达式

阅读次数:1355 次

设超平面为$(w,b)$,样本空间中任意点$x$到超平面$(w,b)$的距离可以写为:

$$r=\frac{|w^T+b|}{||w||}$$

如果超平面$(w,b)$能将训练样本正确的分类,即对于$(x_i,y_i) \in D$,若$y_i = +1$,则有$w^Tx_i+b > 0$ ;若$y_i = -1$,则有$w^Tx_i+b > 0$。令

$$ \left \{ \begin{aligned} w^Tx_i + b \geqslant +1, y_i = +1; \\ w^Tx_i + b \leqslant -1, y_i = -1; \end {aligned} \right. $$

如下图所示,距离超平面最近的这几个训练样本点使上式的等号成立,它们被称为“支持向量”(support vector),两个异类支持向量到超平面的距离之后为:

$$\gamma = \frac{2}{||w||}$$

它被称为“间隔”(margin)

想要找到具有“最大间隔”的划分超平面,也就是要找到满足上式中约束的参数$w$和$b$,使得$\gamma$最大,即:

$$\underset{w,b}{max}\frac{2}{||w||}$$

$$s.t. y_i(w^Tx_i+b) \geqslant 1,i=1,2,...m$$

显然,为了最大化问题,仅需要最大化$||w||^-1$,等价于最小化$||w||^2$,于是可重写为:

$$\underset{w,b}{min}\frac{1}{2}||w||^2$$

$$s.t. y_i(w^Tx_i+b) \geqslant 1,i=1,2,...m$$

这就是支持向量机的基本模型。