R与数据分析旧笔记（十二）分类 （支持向量机）

时间：2024-04-02 09:04:56

支持向量机(SVM)

支持向量机(SVM)

  • 问题的提出：最优分离平面（决策边界）

    R与数据分析旧笔记（十二）分类 （支持向量机）

优化目标

  • 决策边界边缘距离最远

    R与数据分析旧笔记（十二）分类 （支持向量机）

数学模型

R与数据分析旧笔记（十二）分类 （支持向量机）

问题转化为凸优化

R与数据分析旧笔记（十二）分类 （支持向量机）

拉格朗日乘子法——未知数太多

R与数据分析旧笔记（十二）分类 （支持向量机）

KKT变换和对偶公式

R与数据分析旧笔记（十二）分类 （支持向量机）

问题的解决和神经网络化

  • 对偶公式是二次规划问题，有现成的数值方法可以求解
  • 大部分的拉格朗日乘子为0，不为0的对应于“支持向量”（恰好在边界上的样本点）
  • 只要支持向量不变，修改其他样本点的值，不影响结果，当支持变量发生改变时，结果一般就会变化
  • 求解出拉格朗日乘子后，可以推出w和b，判别函数可以写成以下神经网络的样式

    R与数据分析旧笔记（十二）分类 （支持向量机）

支持向量机神经网络

R与数据分析旧笔记（十二）分类 （支持向量机）

相关文章