12.支持向量机

觉得有用的话,欢迎一起讨论相互学习~Follow Me

12.6SVM总结

归一化处理

Note 无论使用使用何种模型进行拟合，原始输入数据都需要进行归一化处理

需要指定的参数

即使用高度优化的软件包，有些参数还是需要自己做出指定的。

正则化参数C

正则化参数C的选定

正则化参数C和神经网络正则化参数\(\lambda\)的倒数\(\frac{1}{\lambda}\)类似
- 大的C对应于小的\(\lambda\),这意味着不使用正则化，会得到一个低偏差(bias)，高方差(variance)的模型，则会更加倾向于 过拟合
- 小的C对应于大的\(\lambda\),这意味着更多的正则化，会得到一个高偏差(bias)，低方差(variance)的模型，则会更加倾向于 欠拟合

核的选定

Note 不是所有提出来的 相似度函数 都是有效的核函数，所有核函数都需要满足 默赛尔定理(Mercer's Theotem) ,因为为了有效的求解参数\(\theta\) ， SVM软件包中使用了许多成熟的优秀的数值优化技巧，而这些技巧的使用条件即是 默赛尔定理(Mercer's Theotem)

没有核(线性核函数) 如果满足\(\theta^{T}x\ge0\)则y=1;即\(\theta_0+\theta_1x1+...+\theta_nx_n\ge0\) ,通常适用于有 大量的特征但是样本数据较少 的情况下
高斯核函数(Gaussian kernel) \[f_{i}=exp(-\frac{||x-l^{(i)}||^{2}}{2\sigma^2}),where\ \ l^{(i)}=x^{(i)}\] 需要选定参数\(\sigma^2\) ，通常适用于有 特征少但是样本数据多 的情况下
多项式核函数(Polynomial kernel) 多项式核函数一般满足\((x^{T}l+常数)^{指数}\)的形式，其中\((x^{T}l)^2,(x^{T}l)^{3},(x^{T}+1)^{3},(x^{T}+5)^4\) 都是其常见的形式。通常的效果比高斯核要差，且x和l都是 非负数 的情况下，以保证内积值永远不会是负数。
多项式核函数(String Kernel) 通常用于输入数据是文本字符串形式的情况下
卡方核函数(chi-square kernel)
直方相交核函数(histogram intersection kernel)

多分类(Multi-class classification)

直接使用 SVM软件包 里面都内置了多类分类的功能
或使用一对多的方法，如果有K个类，就需要K个二分类模型，把每一类从其他类中分出来，即每个模型都把原始样本分为两类 目标类-其他类

逻辑回归和支持向量机

从逻辑回归模型，我们得到了支持向量机模型，在两者之间，我们应该如何选择？
n 为特征数(特征数可指为原始数据中的属性值或人为够早的特征)，m 为训练样本数

如果相较于 m 而言，n 要大许多，即训练集数据量不够支持我们训练一个复杂的非线性模型，我们选用逻辑回归模型或者不带核函数的支持向量机。
如果 n 较小，而且 m 大小中等，例如 n 在 1-1000 之间，而 m 在 10-10000 之间，使用高斯核函数的支持向量机。
如果 n 较小，而 m 较大，例如 n 在 1-1000 之间，而 m 大于 50000，则使用支持向量机会非常慢，解决方案是创造、增加更多的特征，然后使用逻辑回归或不带核函数的支持向量机。

神经网络和支持向量机

值得一提的是，神经网络在以上三种情况下都可能会有较好的表现，但是训练神经网络可能 非常慢(这是2014年的教程，所以现在NG当然不会这么说) ，而且容易陷入局部最优解，选择支持向量机的原因主要在于它的代价函数是凸函数，不存在局部最小值，而且优化过程会比神经网络快得多。
Note Ng认为算法的选择固然重要，但是数据的规模，数据的处理，特征的提取，调整模型的参数这些过程更加重要

秒客网

[吴恩达机器学习笔记]12支持向量机6SVM总结