机器学习数学系列(4):参数估计

时间:2022-05-03 06:44:35

主要内容:

点估计:

  矩估计

  极大似然估计

  点估计的评判准则

区间估计:

  置信区间

 

符号说明:

机器学习数学系列(4):参数估计

1 参数估计问题

机器学习数学系列(4):参数估计

2 点估计

2.1 矩估计

矩估计法的基本思想是根据大数定律,利用样本矩对总体分布矩进行估计。

然后利用总体矩与参数的关系来对参数进行估计。

记号:

机器学习数学系列(4):参数估计

矩估计的基本原理:大数定律

机器学习数学系列(4):参数估计

例1:两点分布的参数估计

机器学习数学系列(4):参数估计

例2:正态分布的参数估计

机器学习数学系列(4):参数估计

2.2 极大似然估计

给定随机变量的分布与未知参数,利用观测到的样本计算似然函数。

选择最大化似然函数的参数作为参数估计量。

极大似然函数的基本原理:最大化似然函数。

机器学习数学系列(4):参数估计

机器学习数学系列(4):参数估计

例:正态分布的参数估计

机器学习数学系列(4):参数估计

机器学习数学系列(4):参数估计

2.3 点估计的评判准则

机器学习数学系列(4):参数估计

2.4 点估计:相和性

相和性是最基本的要求,矩估计的相合性是由大数定律来保证的,极大似然估计的相合性也是隐含地由大数定律来保证的。

机器学习数学系列(4):参数估计

机器学习数学系列(4):参数估计

机器学习数学系列(4):参数估计

2.5 点估计:无偏性

任何一个满足相合性的参数估计,当样本趋于无穷的时候都会收敛于参数的真实值。但是对于有限样本的情况,这个估计值的期望不见得总等于参数的真实值。

机器学习数学系列(4):参数估计

机器学习数学系列(4):参数估计

机器学习数学系列(4):参数估计

2.6 点估计:有效性

机器学习数学系列(4):参数估计

例:

机器学习数学系列(4):参数估计

2.7 点估计:渐近正态性

渐进正态这里涉及到一些矩阵的知识,尤其是极大似然估计的渐进正态性质。

2.8 区间估计:置信区间

机器学习数学系列(4):参数估计