最大似然估计

时间:2020-12-07 00:05:44

1. 最大似然估计法的思想

在已经得到试验结果的情况下,我们应该寻找使这个结果出现的可能性最大的那个θ作为真θ的估计。

2. 离散型随机变量

设X为离散型随机变量,其概率分布的形式为  ,则样本的概率分布为  ,在  固定时,上式表示取值的概率;当  固定时,它是  的函数,我们把它记为  并称为似然函数。

似然函数  的值的大小表示该样本值出现的可能性的大小。既然已经得到了样本值  ,那它出现的可能性应该是大的,即似然函数的值应该是大的。因而我们选择使  达到最大值的那个  作为真  的估计。

3. 连续型随机变量

  为连续型随机变量,其概率密度函数为      为从该总体抽出的样本。因为  相互独立且同分布,于是,样本的联合概率密度函数为
   ,在  是固定时,它是   处的 密度,它的大小与  落在  附近的概率的大小成正比,而当样本值  固定时,它是 的函数。我们仍把它记为  并称为似然函数。类似于刚才的讨论,我们选择使  最大的那个  作为真  的估计。

       总之,在有了试验结果即样本值  时,似然函数  反映了  的各个不同值导出这个结果的可能性的大小。 我们选择使  达到最大值的那个 作为真  的估计。这种求点估计的方法就叫做最大似然法。

4. 求解最大似然函数的一般步骤为

1. 写出似然函数

2. 写出对数似然函数,并整理

3. 求导数

4. 解似然方程