机器学习基础：极大似然估计与交叉熵

极大似然法

考虑我们在训练一个参数为$\mathbf{\varphi }$、输入为$\mathbf{x}$的模型$\mathbf{f}[\mathbf{x},\mathbf{\varphi }]$。如果转换一下视角，计算模型在给定输入$\mathbf{x}$时对可能的输出$\mathbf{y}$计算条件概率分布$Pr(\mathbf{y}|\mathbf{x})$。对每一个样本$({\mathbf{x}}_{\mathbf{i}},{\mathbf{y}}_{\mathbf{i}})$，损失函数鼓励在分布$Pr({\mathbf{y}}_{\mathbf{i}}|{\mathbf{x}}_{\mathbf{i}})$ 下输出${\mathbf{y}}_{\mathbf{i}}$时有高的概率。

但是如何适配模型$\mathbf{f}[\mathbf{x},\mathbf{\varphi }]$去计算概率分布呢？我们首先选择一个定义在输出$\mathbf{y}$的值域内的参数化概率分布$Pr(\mathbf{y}|\mathbf{\theta })$， 再基于训练样本让模型对概率分布的参数进行估计。于是模型对每一个训练输入${\mathbf{x}}_{\mathbf{i}}$计算得到不同的分布参数${\mathbf{\theta }}_{\mathbf{i}}=\mathbf{f}[{\mathbf{x}}_{\mathbf{i}},\mathbf{\varphi }]$，其训练输出${\mathbf{y}}_{\mathbf{i}}$在其相应的概率分布$Pr({\mathbf{y}}_{\mathbf{i}}|{\mathbf{\theta }}_{\mathbf{i}})$下应该有较高的概率。所以，我们会选择使所有的$I$个样本的组合概率最大的模型参数：
$$\begin{array}{rl}\hat{\mathbf{\varphi }}& =\underset{\varphi }{\mathrm{argmax}}\left[\prod _{i=1}^I\mathrm{Pr}\left({\mathbf{y}}_i\mid {\mathbf{x}}_i\right)\right]\\ & =\underset{\varphi }{\mathrm{argmax}}\left[\prod _{i=1}^I\mathrm{Pr}\left({\mathbf{y}}_i\mid {\mathbf{\theta }}_i\right)\right]\\ & =\underset{\varphi }{\mathrm{argmax}}\left[\prod _{i=1}^I\mathrm{Pr}\left({\mathbf{y}}_i\mid \mathbf{f}\left[{\mathbf{x}}_i,\mathbf{\varphi }\right]\right)\right](1)\end{array}$$
上式中的组合概率项被称为参数的似然(likelihood)，上式即极大似然法(Maximum likelihood criterion)，也被称为极大似然估计(Maximum likelihood estimation, MLE)。

极大似然法有两个假设，即通常所说的假设数据是独立同分布的(independent and identically distributed (i.i.d.))。即首先假设数据来自相同的数据分布，其次假设在给定输入时条件概率$Pr({\mathbf{y}}_{\mathbf{i}}|{\mathbf{x}}_{\mathbf{i}})$ 是独立的，所以训练数据的总似然满足下式的分解：
$$Pr({\mathbf{y}}_1,{\mathbf{y}}_2,\dots ,{\mathbf{y}}_{\mathbf{I}}|{\mathbf{x}}_1,{\mathbf{x}}_2,\dots ,{\mathbf{x}}_{\mathbf{I}})=\prod _{i=1}^I\mathrm{Pr}\left({\mathbf{y}}_i\mid {\mathbf{x}}_i\right)(2)$$
但公式(1)的最大似然法不是很实用，因为每一项$Pr({\mathbf{y}}_{\mathbf{i}}|\mathbf{f}\left[{\mathbf{x}}_i,\mathbf{\varphi }\right])$可能会很小，这样许多项的乘积会非常非常小，在实际计算的精度很难去量化它，所以一般会使用最大对数似然：
$$\begin{array}{rl}\hat{\mathbf{\varphi }}& =\underset{\varphi }{\mathrm{argmax}}[\prod _{i=1}^I\mathrm{Pr}({\mathbf{y}}_i\mid \\ & \\ & \end{array}$$