【笔记】大数定理证明

简述

复习一下概率论大数定理的证明。
证明大数定理，需要先证明切比雪夫（Chebyshev）不等式。

Chebyshev不等式证明

定理 设随机变量X具有数学期望$E(x)=\mu$，方差为$D(x)={\sigma }^2$，则对任意正数$\epsilon$，不等式
P { ∣ X − μ ∣ ≥ ε } ≤ σ 2 ε 2 P\{|X-\mu| \geq \varepsilon\}\leq\frac{\sigma^2}{\varepsilon^2} P{∣X−μ∣≥ε}≤ε2σ2​
成立。 这就是chebyshev不等式

证明： 只需要考虑连续变量的情况，离散情况将积分替换为累积求和即可。
P { ∣ X − μ ∣ ≥ ε } = ∫ ∣ X − μ ∣ ≥ ε f ( x ) d x ≤ ∫ ∣ X − μ ∣ ≥ ε ∣ X − μ ∣ 2 ε 2 f ( x ) d x ≤ 1 ε 2 ∫ ∣ X − μ ∣ 2 f ( x ) d x = σ 2 ε 2 P\{|X-\mu| \geq \varepsilon\} = \int_{|X-\mu| \geq \varepsilon}{f(x)dx}\leq \int_{|X-\mu| \geq \varepsilon}{\frac{|X-\mu|^2}{\varepsilon^2}f(x)dx}\leq \\ \frac{1}{\varepsilon^2} \int_{}{|X-\mu|^2f(x)dx}=\frac{\sigma^2}{\varepsilon^2} P{∣X−μ∣≥ε}=∫∣X−μ∣≥ε​f(x)dx≤∫∣X−μ∣≥ε​ε2∣X−μ∣2​f(x)dx≤ε21​∫​∣X−μ∣2f(x)dx=ε2σ2​

得证。

大数定理证明

定理 设随机变量$X_1,X_1,...,X_n$ (independent and identically distributed 独立同分布)，具有数学期望$E(x)=\mu$，方差为$D(x)={\sigma }^2$，样本均值$\bar{x}$，则对任意正数$\epsilon$
lim ⁡ n → ∞ P { ∣ x ˉ − μ ∣ ≥ ε } = 0 \lim\limits_{n \to \infty }{P\{|\bar x-\mu| \geq \varepsilon\}} =0 n→∞lim​P{∣xˉ−μ∣≥ε}=0
成立。 这就是大数定理

证明：

• 样本均值的均值 $E(\bar{x})=\mu$
• 样本均值的方差 $Var(\bar{x})=\frac{{\sigma }^2}{n}$
  由切比雪夫不等式有，

P { ∣ x ˉ − μ ∣ ≥ ε } ≤ v a r ( x ˉ ) ε 2 = σ 2 n ∗ ε 2 P\{|\bar x-\mu| \geq \varepsilon\} \leq \frac{var(\bar x)}{\varepsilon^2}=\frac{\sigma^2}{n*\varepsilon^2} P{∣xˉ−μ∣≥ε}≤ε2var(xˉ)​=n∗ε2σ2​
得证。