一个交替优化问题的求解（续）

优化问题

当 $W$, $b$, $Y$ 固定时，原优化问题的目标函数变为：

$$\underset{Z}{\min }\lambda \mathrm{tr}\left(Z^{T}11^{T}Z\right)+\frac{\mu }{2}\Vert Y-Z+\frac{1}{\mu }\Lambda {\Vert }_F^2$$

我们需要通过对 $Z$ 求导并设导数为 0 来求解 $Z$ 的最优值。

第一项的展开

$$\lambda \mathrm{tr}\left(Z^{T}11^{T}Z\right)$$
这里的 $11^T$ 是一个 $n\times n$ 的矩阵，$1$ 是全 1 的列向量。$\mathrm{tr}(A)$ 是矩阵 $A$ 的迹（对角线元素之和）。

由于 $\mathrm{tr}(A)$ 的性质 $\mathrm{tr}(AB)=\mathrm{tr}(BA)$，这一项也可以写为：

$$\lambda \mathrm{tr}(Z^{T}11^{T}Z)=\lambda \Vert Z^{T}1{\Vert }_2^2$$

因此，这一项实际上对 $Z$ 的优化作用是增加某种行与列的相互依赖性。

第二项的展开

$$\frac{\mu }{2}\Vert Y-Z+\frac{1}{\mu }\Lambda {\Vert }_F^2$$

展开平方：

$$\Vert Y-Z+\frac{1}{\mu }\Lambda {\Vert }_F^2=\Vert Y{\Vert }_F^2-2⟨Y,Z⟩+\Vert Z{\Vert }_F^2+2⟨Y,\frac{1}{\mu }\Lambda ⟩-2⟨Z,\frac{1}{\mu }\Lambda ⟩+\Vert \frac{1}{\mu }\Lambda {\Vert }_F^2$$

由于我们最终只关心 $Z$，可以将与 $Z$ 无关的常数项略去。于是，该项可以化简为：

$$\frac{\mu }{2}\Vert Y-Z+\frac{1}{\mu }\Lambda {\Vert }_F^2=\frac{\mu }{2}\Vert Z{\Vert }_F^2-\mu ⟨Z,Y⟩+⟨Z,\Lambda ⟩+\text{const.}$$

---

目标函数的组合

将两部分结合，目标函数可以写为：

$$\underset{Z}{\min }\lambda \mathrm{tr}\left(Z^{T}11^{T}Z\right)+\frac{\mu }{2}\Vert Z{\Vert }_F^2-\mu ⟨Z,Y⟩+⟨Z,\Lambda ⟩$$

展开 $\lambda$ 的部分后，我们有：

$$\underset{Z}{\min }\lambda \mathrm{tr}(Z^{T}11^{T}Z)+\frac{\mu }{2}\mathrm{tr}(Z^{T}Z)-\mu \mathrm{tr}(Z^{T}Y)+\mathrm{tr}(Z^T\Lambda )$$

---

对 $Z$ 求导

我们需要对 $Z$ 求导，并设置导数为 0。

梯度规则

1. 对于二次项 $\frac{\mu }{2}$