协方差（Covariance）与得分函数：从Fisher信息矩阵看统计关联

协方差与得分函数：从Fisher信息矩阵看统计关联

协方差（Covariance）是统计学中一个基础但强大的概念，它描述了两个随机变量之间的关系。在Fisher信息矩阵中，协方差以一种特别的形式出现：得分函数的协方差。你可能注意到它的定义 ( $I(\theta {)}_{ij}=E\left[s_i{s}_j\right]$ )（其中 ( $s_i=\frac{\partial \log p(x|\theta )}{\partial {\theta }_i}$ )）似乎“少了均值”，这是怎么回事？今天我们就从这个角度出发，聊聊协方差的本质、得分函数的特殊性，以及它们在实际中的应用。

---

什么是协方差？

协方差衡量两个随机变量 ( $X$ ) 和 ( $Y$ ) 如何一起变化，定义为：
$$\text{Cov}(X,Y)=E[(X-E[X])(Y-E[Y])]$$

展开后：

$$\text{Cov}(X,Y)=E[XY]-E[X]E[Y]$$

• 如果协方差为正，( $X$ ) 增加时 ( $Y$ ) 也倾向于增加。
• 如果为负，则一个增加另一个减少。
• 如果为零，说明两者在统计上“无关”（但不一定是完全独立的）。

通俗比喻

想象你在观察天气：( $X$ ) 是温度，( $Y$ ) 是降雨量。协方差告诉你，当温度升高时，降雨量是更可能增加（正协方差，像夏天多雨），还是减少（负协方差，像沙漠地区），或者没啥关系（零协方差）。

---

得分函数与Fisher信息矩阵

在Fisher信息矩阵中，协方差以得分函数的形式出现。得分函数是対数似然函数对参数的偏导数：

$$s_i=\frac{\partial \log p(x|\theta )}{\partial {\theta }_i},s_j=\frac{\partial \log p(x|\theta )}{\partial {\theta }_j}$$

Fisher信息矩阵的元素定义为：

$$I(\theta {)}_{ij}=E\left[s_i{s}_j|\theta \right]$$

这被描述为“得分函数的协方差”，反映了参数 ( ${\theta }_i$ ) 和 ( ${\theta }_j$ ) 变化时似然波动的关联性。

为什么“少了均值”？

你可能会疑惑：普通的协方差定义是 ( $E[XY]-E[X]E[Y]$ )，而这里只有 ( $E[s_i{s}_j]$ )，似乎少了 ( $-E[s_i]E[s_j]$ ) 这一项。这是定义错误，还是有意为之？

答案在于得分函数的一个关键性质：它的期望为零。即：

$$E[s_i|\theta ]=E\left[\frac{\partial \log p(x|\theta )}{\partial {\theta }_i}|\theta \right]=0$$

为什么期望为零？

证明很简单：

$$E[s_i]=\int \frac{\partial \log p(x|\theta )}{\partial {\theta }_i}p(x|\theta )dx=\int \frac{1}{p}\frac{\partial p}{\partial {\theta }_i}pdx=\int \frac{\partial p}{\partial {\theta }_i}dx$$

因为 ( $p(x|\theta )$ ) 是概率密度，总积分恒为1：

$$\frac{\partial }{\partial {\theta }_i}\int p(x|\theta )dx=\int \frac{\partial p}{\partial {\theta }_i}dx=0$$

在正则条件下（积分和导数可交换），( $E[s_i]=0$ )。同样，( $E[s_j]=0$ )。

回到协方差

既然 ( $E[s_i$