“初学者”并不是不好好理解其中的数学的借口，终于下定决心好好理解SVM了，先从KKT条件开始。

A. 优化问题的分类

首先是要知道问题是定义在 Rn→R ，即 y=f(x→) 。
第一种优化问题是没有任何约束的，即求一个最优解 x0−→ 使得对任意的 x→ ，都有 f(x0−→)<=f(x→) 。这个一般用多元函数求极值的方法就可以解决了，即求 f(x→) 的导数，令其为0，求解出来即可（？？是全导数还是偏导数，这个还得再看看）。

第二种是有等式约束的，即问题为：

m i n f (x \to), s . t . h i (x \to) = 0, i = 1, 2, \dots, p

这种一般用拉格朗日乘子法来（Lagrange Multiplier）求解，即将问题转化成求解：

m i n F (x \to), F (x \to) = f (x \to) + \sum i = 1 p h i (x \to)

【先写一下自己对SVM的公式推导的理解】【未完待续】

$L (ω \to, b, α \to) = 1 2 ∥ ω ∥ 2 - \sum i = 1 n α i [y i (ω \to T x i \to + b) - 1] = 1 2 ω \to T ω \to - \sum i = 1 n α i y i ω \to T x i \to - \sum i = 1 n α i y i b + \sum i = 1 n α i = ω \to T (1 2 \sum i = 1 n α i y i x i \to) - ω \to T (\sum i = 1 n α i y i x i \to) - b \sum i = 1 n α i y i + \sum i = 1 n α i = \sum i = 1 n α i - ω \to T (1 2 \sum i = 1 n α i y i x i \to) = \sum i = 1 n α i - 1 2 (\sum i = 1 n α i y i x i \to T) (\sum i = 1 n α i y i x i \to) = \sum i = 1 n α i - 1 2 \sum i = 1 n \sum j = 1 n α i α j y i y j x i \to T x j \to$

Reference：
1. http://www.cnblogs.com/zhangchaoyang/articles/2726873.html
2. http://blog.csdn.net/xianlingmao/article/details/7919597
3. https://www.cs.cmu.edu/~ggordon/10725-F12/slides/16-kkt.pdf

秒客网

优化问题与KKT条件

A. 优化问题的分类

相关文章