马尔可夫随机场MRF与 条件随机场CRF

时间:2024-04-03 19:58:40

因为最近看的论文中一直提到MRF和CRF,所以特地学习了一下…

先看一下什么是随机场:

当给样本空间的每一个位置中按照某种分布随机赋予相空间的一个值之后,其全体就叫做随机场。

马尔可夫随机场(MRF):

一个简单的马尔科夫随机场
MRF是一种无向图模型。图中的每个结点表示一个或者一组变量,结点之间的边表示两个变量之间的依赖关系。

势函数

马尔可夫随机场有一组势函数(potential functions),也被叫做是“因子”,这是定义在变量子集上的非负实函数,它的作用是定量刻画变量集中变量之间的相关关系(在所偏好的变量取值上有较大的函数值),为满足非负性,常常使用指数函数定义势函数。
马尔可夫随机场MRF与 条件随机场CRF
该势函数说明,此MRF模型偏好你变量xA与xC拥有相同的取值,xB与xC拥有不同的取值;即,在该模型中xA与xC正相关,xB与xC负相关。结合HammersleyClifford 定理可知,令xA与xC相同,xB与xC不同的变量值指派将取得较高的联合概率。

对于图中结点的一个子集,如果其中任意两个结点之间都有边连接,则称该结点子集为一个“团”。如果在一个团中加入另外的任何一个结点都不能形成团,则称这个团为“极大团”。

HammersleyClifford 定理:

马尔可夫随机场中,多个变量之间的联合概率分布可以基于团分解为多个势函数的乘积,每个势函数仅与一个团相关。
马尔可夫随机场MRF与 条件随机场CRF

马尔可夫性:

全局马尔可夫性:设结点集合A,B是在无向图G中被结点集合C分开的任意结点集合,则在给定随机变量xC的条件下,随机变量xA和xB条件独立。

由全局马尔可夫性可以得到两个有用的推论:

①局部马尔可夫性:设v是无向图G中任意一个结点,W是与v有边相连的所有结点,G中其他结点记做O;则在给定随机变量xW的条件下,随机变量xV和xO条件独立。此时这里的W是v的分离集,局部马尔可夫性是全局马尔可夫性的推论。

②成对马尔可夫性:设u和v是无向图G中任意两个没有边直接连接的结点,G中其他结点的集合记做O;则在给定随机变量xO的条件下,随机变量xU和xV条件独立。

满足上述马尔可夫性,三者其一的无向图称之为MRF。

条件随机场(CRF):

CRF是一种判别式无向图模型。它试图对多个变量在给定的观测值后的条件概率进行建模。具体来说:
若令x={x1,x2,…,xn}为观测序列,y={y1,y2,…,yn}为与之对应的标记序列,则CRF的目标是构建条件概率模型P(y|x).

令G=<V,E>表示结点与标记变量y中的元素一一对应的无向图,g_v表示与结点v对应的标记变量,n(v)表示结点v的邻接结点,若图G的每个变量g_v都满足马尔可夫性,则(y,x)构成一个条件随机场。

【注】马尔可夫性又称为“无后效性”。意思是说,过程/系统在时刻T0所处的状态为已知的条件下,过程在时刻T>T0所处状态的条件分布与过程在时刻T0之前所处的状态无关。(条件独立性