什么是SVM

SVM:一种监督机器学习算法,可以用于分类和回归,主要用于分类问题。
目标:求距离两类数据点中最近的那些点(图中红色和蓝色的边界点)的最远的直线方程。(或超平面方程)。极为分类的最优解。
图一中,存在无数的直线都可以百分之百对数据分类,图二中的离类别边界点最远的那条才是要求的。

上图为三维空间中的超平面示意。
一些概念,离最近点(边界点)的距离叫做margin,存在small margin和large margin其中large margin也即是线性可分情况下的一种最优分类线。

2式为拉格朗日乘子法求解,3为转换为对偶问题,因为对偶问题更容易求解。

所有曲线方程都可以转换到高维空间中的直线方程:如x1^2+x^2+ax1x2=C,其中x1^2可以设为高维空间中的y1,x^2可以设为高维空间中的y2,x1x2可以设为高维空间中的y3。通过这样向高维空间映射的方式实现分类的超平面。但是这种通过线性表示的方式带来了计算量的增加。除了线性SVM还有RBF SVM和Gaussian SVM可以在不增加计算量的情况下实现曲线函数。

这种(仅有一个点线性不可分)叫做“近似线性可分”问题。使用松弛变量可以把原本线性不可分的变成线性可分。