-
Map
(最大后验)
在贝叶斯
统计学中,最大后验(Maximum A Posteriori,MAP)
估计可以利用经验数据获得对未观测量的点态估计。它与
Fisher的
最大似然估计(Maximum Likelihood,ML)方法相近,不同的是它扩充了优化的目标函数,其中融合了预估计量的
先验分布信息,所以最大后验估计可以看作是正则化(regularized)的最大似然估计。
- 中文名
- 最大后验
- 外文名
- Maximum A Posteriori
- 应用学科
- 贝叶斯统计学
假设我们需要根据观察数据x估计没有观察到的总体参数θ,让f作为x的采样分布,这样f(x| θ)就是总体参数为θ时x的概率。函数
即为似然函数,其估计就是θ的最大似然估计。
假设θ存在一个先验分布g,这就允许我们将θ作为
贝叶斯统计(en:Bayesian statistics)中的
随机变量,这样θ的后验分布就是:
其中Θ是g的domain,这是贝叶斯定理(en: Bayes' theorem)的直接应用。
最大后验估计方法于是估计θ为这个随机变量的后验分布的
mode:
后验分布的分母与θ无关,所以在优化过程中不起作用。注意当前验g是 uniform(也就是
常函数)时最大后验估计与最大似然估计重和。
最大后验估计可以用以下几种方法计算:
解析方法,当后验分布的模能够用closed form方式表示的时候用这种方法。当使用en:conjugate prior的时候就是这种情况。通过如共扼积分法或者
牛顿法这样的
数值优化方法进行,这通常需要一阶或者
导数,导数需要通过解析或者数值方法得到。通过
期望最大化算法的修改实现,这种方法不需要后验密度的导数。
尽管最大后验估计与 Bayesian 统计共享前验分布的使用,通常并不认为它是一种 Bayesian 方法,这是因为最大后验估计是点估计,然而 Bayesian 方法的特点是使用这些分布来总结数据、得到推论。Bayesian 方法试图算出后验
均值或者
中值以及posterior interval,而不是后验模。尤其是当后验分布没有一个简单的解析形式的时候更是这样:在这种情况下,后验分布可以使用Markov chain Monte Carlo技术来模拟,但是找到它的模的优化是很困难或者是不可能的。