大数定律和中心极限定理是概率论与数理统计中非常重要的定理之一,他们是连接概率论与统计的桥梁,表达了样本与总体之间统计特征(均值,方差)之间的关系,指出了用样本估计总体的道路,为统计推断奠定了理论基础。
大数定律:
大数定律表明样本均值是分布在总体均值的一定范围内的,且随着样本容量(sample size)的增加这个范围越来越小,即样本均值依概率收敛到总体均值。根据大数定律,可以用有限个数的样本来对总体的均值进行推断,而且推断的可靠性可以通过概率来衡量。
中心极限定理:
中心极限定理表明不论总体的概率分布如何,只要其均值和方差存在且有限,则其对应的样本均值的概率分布随着样本容量的增大趋近于正态分布,且样本均值的期望等于总体的均值,样本均值的方差等于总体方差的1/n倍。样本均值分布相对于正态分布的近似程度取决于样本容量和总体的概率分布,通常情况下,在总体均值附近区域样本均值趋近正态分布的速度相对较快,越往两端,趋近速度越慢。
样本均值一般是n个独立同分布的随机变量的函数,是一阶样本原点矩,是一个统计量,也是一个随机变量。大数定律阐明了样本均值的期望和方差与总体的期望和方差的联系,指出了样本均值的期望依概率收敛于总体的期望,样本容量越大,样本均值的期望在总体期望附近浮动的范围越小(也即样本均值的方差越小),用样本均值估计总体期望的可靠性越高;中心极限定理不仅揭示了样本均值的期望和方差与总体的期望和方差的关系,还指出了样本均值的渐进(极限)分布的形式。