增广拉格朗日函数简单推导

原始的增广拉格朗日函数是：

$$L(X,\Lambda ,\mu )=f(X)+⟨\Lambda ,H(X)⟩+\frac{\mu }{2}\Vert H(X){\Vert }_F^2$$

其中：

• $⟨\Lambda ,H(X)⟩$ 表示拉格朗日乘子 $\Lambda$ 与约束函数 $H(X)$ 的内积；
• $\Vert H(X){\Vert }_F^2$ 是约束函数 $H(X)$ 的 Frobenius 范数的平方，表示对约束的惩罚项。

现在，我们的目标是将其转化为简化后的形式：

$$\underset{X}{\min }f(X)+\frac{\mu }{2}{\Vert H(X)+\frac{1}{\mu }\Lambda \Vert }_F^2$$

推导过程

关键在于增广拉格朗日函数中的两项 $⟨\Lambda ,H(X)⟩$ 和 $\frac{\mu }{2}\Vert H(X){\Vert }_F^2$ ：

1. 展开范数平方：将惩罚项 $\frac{\mu }{2}\Vert H(X){\Vert }_F^2$ 展开：
   $$\frac{\mu }{2}\Vert H(X){\Vert }_F^2=\frac{\mu }{2}\sum _{i,j}H(X{)}_{ij}^2$$

2. 合并内积项和范数项：注意到 $⟨\Lambda ,H(X)⟩$ 可以看作是一个线性项。为了简化，将其引入到范数的平方中，观察以下等式：
   $$\Vert H(X)+\frac{1}{\mu }\Lambda {\Vert }_F^2=\Vert H(X){\Vert }_F^2+2⟨\frac{1}{\mu }\Lambda ,H(X)⟩+\Vert \frac{1}{\mu }\Lambda {\Vert }_F^2$$

   从这里可以看出，$⟨\Lambda ,H(X)⟩$ 是范数平方的一个部分。

3. 代入原函数：将这个展开结果代入到原始的增广拉格朗日函数中：
   $$L(X,\Lambda ,\mu )=f(X)+⟨\Lambda ,H(X)⟩+\frac{\mu }{2}\Vert H(X){\Vert }_F^2$$
   使用上述展开，我们得到：
   $$L(X,\Lambda ,\mu )=f(X)+\frac{\mu }{2}\Vert H(X)+\frac{1}{\mu }\Lambda {\Vert }_F^2-\frac{1}{2\mu }\Vert \Lambda {\Vert }_F^2$$

4. 忽略常数项：注意到 $-\frac{1}{2\mu }\Vert \Lambda {\Vert }_F^2$ 是关于 $X$ 的常数项，因此在优化问题中可以忽略。最终得到简化形式：
   $$\underset{X}{\min }f(X)+\frac{\mu }{2}\Vert H(X)+\frac{1}{\mu }\Lambda {\Vert }_F^2$$

总结

这种推导的关键是通过平方展开，将线性项 $⟨\Lambda ,H(X)⟩$ 和二次项 ∥ H ( X ) ∥ F 2