回归——支持向量机回归(SVR)

支持向量机回归(SVR)是支持向量机在回归问题上的应用模型。支持向量机回归模型基于不同的损失函数产生了很多变种。本文仅介绍基于ϵ$ϵ$不敏感损失函数的SVR模型。

核心思想

找到一个分离超平面(超曲面)，使得期望风险最小。

ϵ$ϵ$-SVR

ϵ$ϵ$-损失函数

ϵ$ϵ$-损失函数，就是当误差小于ϵ$ϵ$时，该误差可忽略。反之，误差为ξ−|ϵ|$\xi -|ϵ|$。如图所示：

基于ϵ$ϵ$-损失函数的SVR称为ϵ$ϵ$-SVR。
优化问题如下：

ν$\nu$-SVR

同ν$\nu$-支持向量机分类，另设一个参数ν$\nu$来调节支持向量的个数。
优化问题如下：
C,ν$C,\nu$是用户*设置的，故直接将C/l$C/l$称为C$C$,Cν$C\nu$称为ν$\nu$，则最优化函数等同于：

minw,b,ξ∗,ξ,ϵ12wTw+νϵ+C∑i=1l(ξi+ξ∗i)$$\underset{w,b,{\xi }^{\ast },\xi ,ϵ}{min}\frac{1}{2}{w}^{T}w+\nu ϵ+C\sum _{i=1}^l({\xi }_i+{\xi }_i^{\ast })$$

支持向量

直观地理解，支持向量就是对最终的w,b的计算起到作用的样本(α⩾0$\alpha ⩾0$)。那么根据ϵ$ϵ$不敏感函数图像，不敏感区域形同一个“管道”。管道之内的样本对应α=0$\alpha =0$，为非支持向量；位于“管壁”上的为边界支持向量，0<α<C$0<\alpha <C$,为边界支持向量；位于“管道”之外的为非边界支持向量，α⩾C$\alpha ⩾C$,为非边界支持向量(异常点检测时，常从非边界支持向量中挑选异常点)；
注：图片来自LIBSVM指导文档。如有不当之处，请指正。

我的GitHub
注：如有不当之处，请指正。