《近似线性可分支持向量机的原理推导》KKT（Karush-Kuhn-Tucker）条件 公式解析

本文是将文章《近似线性可分支持向量机的原理推导》中的公式单独拿出来做一个详细的解析，便于初学者更好的理解。

---

公式 9-51 到 9-59 是在近似线性可分支持向量机（SVM）的优化过程中推导出来的 KKT（Karush-Kuhn-Tucker）条件。KKT 条件是求解带约束优化问题的必要条件，通过这些条件，我们可以找到支持向量机的最优解。接下来，我将详细解释这些公式及其作用。

背景

我们从原始问题的拉格朗日函数出发：
$$L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i\left(y_i(w^T{x}_i+b)-(1-{\xi }_i)\right)-\sum _{i=1}^N{\mu }_i{\xi }_i$$

通过对拉格朗日函数对 $w$、$b$、和 ${\xi }_i$ 求偏导数并设为 0，以及利用 KKT 条件，我们可以得到公式 9-51 到 9-59。

公式解释

公式 9-51

$$\frac{\partial L}{\partial w}=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0$$

• 解释：对 $L$ 关于 $w$ 求偏导数并设为 0。
• 含义：该公式表明权重向量 $w$ 可以表示为一系列样本点的线性组合。换句话说，最优的 $w$ 是支持向量（即 ${\alpha }_i>0$ 的点）乘以对应标签 $y_i$ 和特征 $x_i$ 的加权和。
• 解出：可以得到 $w$ 的表达式：
  $$w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i$$

公式 9-52

$$\frac{\partial L}{\partial b}=-\sum _{i=1}^N{\alpha }_i{y}_i=0$$

• 解释：对 $L$ 关于 $b$ 求偏导数并设为 0。
• 含义：这个条件确保了所有支持向量的贡献在决策边界上是平衡的。
• 解出：可以得到如下约束：
  $$\sum _{i=1}^N{\alpha }_i{y}_i=0$$

公式 9-53

$$\frac{\partial L}{\partial {\xi }_i}=C-{\alpha }_i-{\mu }_i=0$$

• 解释：对 $L$ 关于 ${\xi }_i$ 求偏导数并设为 0。
• 含义：这个条件确保惩罚系数 $C$ 与拉格朗日乘子 ${\alpha }_i$ 和 ${\mu }_i$ 之间的关系。它表明每个样本的 ${\xi }_i$ 都要满足这个平衡条件。
• 解出：可以得到如下关系：
  $${\alpha }_i+{\mu }_i=C$$

公式 9-54（互补松弛条件）

$${\alpha }_i\left(y_i(w^T{x}_i+b)-1+{\xi }_i\right)=0$$

• 解释：这是 KKT 条件中的互补松弛条件之一。
• 含义：如果 ${\alpha }_i>0$，那么 $y_i(w^T{x}_i$