It's our wits that make us men.

SVM支持向量机的一些问题

Posted on By Xc L


什么是SVM

image-20200406200449806

SVM:一种监督机器学习算法,可以用于分类和回归,主要用于分类问题。

目标:求距离两类数据点中最近的那些点(图中红色和蓝色的边界点)的最远的直线方程。(或超平面方程)。极为分类的最优解。

图一中,存在无数的直线都可以百分之百对数据分类,图二中的离类别边界点最远的那条才是要求的。

多维空间

上图为三维空间中的超平面示意。

一些概念,离最近点(边界点)的距离叫做margin,存在small margin和large margin其中large margin也即是线性可分情况下的一种最优分类线。

image-20200406203636610

2式为拉格朗日乘子法求解,3为转换为对偶问题,因为对偶问题更容易求解。

image-20200406211953180

所有曲线方程都可以转换到高维空间中的直线方程:如x1^2+x^2+ax1x2=C,其中x1^2可以设为高维空间中的y1,x^2可以设为高维空间中的y2,x1x2可以设为高维空间中的y3。通过这样向高维空间映射的方式实现分类的超平面。但是这种通过线性表示的方式带来了计算量的增加。除了线性SVM还有RBF SVM和Gaussian SVM可以在不增加计算量的情况下实现曲线函数。

img

这种(仅有一个点线性不可分)叫做“近似线性可分”问题。使用松弛变量可以把原本线性不可分的变成线性可分。