统计计算五|MCMC（ Markov Chain Monte Carlo）

系列文章目录

统计计算一|非线性方程的求解
统计计算二|EM算法（Expectation-Maximization Algorithm，期望最大化算法）
统计计算三|Cases for EM
统计计算四|蒙特卡罗方法（Monte Carlo Method）

文章目录

• 系列文章目录
• 一、基本概念
• • （一）马尔科夫链
  • • 1、定义
    • 2、性质
    • 3、常返
    • 4、平稳分布
  • （二）MCMC原理
  • • 1、核心思想
    • 2、连续状态
    • 3、MCMC估计期望的步骤
• 二、满条件分布
• • • 1、定义
    • 2、考虑MCMC中的应用
    • 3、伽玛分布
• 三、Metropolis–Hastings 算法
• • （一）基本概念
  • • 1、思想
    • 2、具体实施
    • 3、算法过程
  • （二）Metropolis 选择（提案分布 q ( x , x ′ ) q(x, x′) q(x,x′) 的选取）
  • （三）单元素 Metropolis-Hastings 算法
• 四、Gibbs 算法
• • （一）基本概念
  • （二）采样过程
  • （三）延展
  • （四）示例
  • • 1、简单正态例子：
    • 2、多项分布示例：
    • 3、分类消费者例子
• 五、实施
• • （一）混合和收敛
  • （二）相关术语

---

一、基本概念

（一）马尔科夫链

1、定义

考虑在每个时间段有一个值的随机过程，令$X_n$表示它在时间段$n$的值，如果：
P { X n + 1 = j ∣ X n = i , X n − 1 = i n − 1 , . . . , X 1 = i 1 } = P { X n + 1 = j ∣ X n = i } = P i j \begin{aligned} &P\{X_{n+1}=j|X_{n}=i,X_{n-1}=i_{n-1},...,X_1=i_1\} \\ =&P\{X_{n+1}=j|X_{n}=i \} \\ =&P_{ij} \end{aligned} ==​P{Xn+1​=j∣Xn​=i,Xn−1​=in−1​,...,X1​=i1​}P{Xn+1​=j∣Xn​=i}Pij​​
这样的随机过程称为马尔科夫链。$P$为一步转移概率$P_{ij}$的矩阵，n次转移后的矩阵为$P^n$。

对随机变量序列 { X 0 , X 1 , X 2 , . . . } \{X_0,X_1,X_2,...\} {X0​,X1​,X2​,...}，在任一时刻$n\ge 0$，序列中下一时刻$n+1$的$X_{n+1}$由条件分布$P(x|X_n)$产生，它只依赖于时刻$n$的当前状态，而与时刻$n$以前的历史状态 { X 0 , . . . , X n − 1 } \{X_0,...,X_{n-1}\} {X0​,...,Xn−1​}无关。满足这样条件的随机变量序列称为Markov链。

若转移概率不随n改变，则称此链为时间齐性的，否则为时间非齐性。

2、性质

• 不可约：如果从任一状态 $i$ 经有限步后都可到达任一状态 $j$，即对于任两个状态 $i$, $j$，都存在 $m>0$ 使得 $p(X^{(m+n)}=j|X^{(n)}=i)>0$（联通的），则称这一条马氏链是不可约的

• 常返：称能以概率1回来的状态是常返的：
  $$f_{ii}=\sum _{i=1}^{\infty }{f}_{ii}^{(n)}=1$$
  其中$f_{ij}^{(n)}=p(X^{(n)}=j,X_k\ne j,k=1,2,...,n-1|X_0=i)$为马氏链在0时从状态 $i$ 出发，经过n步转移后，首次到达状态 $j$ 的概率。若返回概率小于1，即$f_{ii}<1$，则为非常返态。

• 正常返和零常返：一个状态的平均返回时间 ${\mu }_i$ 为
  $${\mu }_i=\sum _{n=1}^{\infty }n{f}_{ii}^{(n)}$$
  若${\mu }_i<\infty$，则为正常返，反之${\mu }_i=\infty$为零常返。如果状态空间有限，其常返状态都是非零常返

• 周期性：

  • 如果马尔可夫链只能以一定的规则间隔访问状态空间的某些部分，则它是周期性的。如果由状态 $j$ 经非 $d$ 整数倍步到达$j$ 的概率为 0，则称状态 $j$ 具有周期 $d$，周期可定义为集合 { n : n ≥ 0 , p i i ( n ) > 0 } \{n : n ≥ 0, p^{(n)}_{ii} > 0\} {n:n≥0,pii(n)​>0} 的最大公约数，即所有返回可能的次数的最大公约数。
  • 如果一条马氏链的每一个状态的周期都为 1, 则称此链为非周期的。

• 遍历的：如果一条马氏链是不可约、非周期，且其所有状态都是非零常返的，则称之为遍历的
  

3、常返

设 $i$ 是常返态，则：