【模式识别与机器学习】——2.2正态分布模式的贝叶斯分类器

时间:2020-12-01 10:08:37

出发点:

  当已知或者有理由设想类概率密度函数P(x|ωi )是多变量的正态分布时,上一节介绍的贝叶斯分类器可以导出一些简单的判别函数。 由于正态密度函数易于分析,且对许多重要的实际应用又是一种合适的模型,因此受到很大的重视。

(贝叶斯分类规则是基于统计概念的。 如果只有少数模式样本,一般较难获得最优的结果)

正态分布模式的贝叶斯判别函数

具有M种模式类别的多变量正态类密度函数为:

【模式识别与机器学习】——2.2正态分布模式的贝叶斯分类器

其中,每一类模式的分布密度都完全被其均值向量mi和协方差矩阵Ci所规定,其定义为:

 【模式识别与机器学习】——2.2正态分布模式的贝叶斯分类器

【模式识别与机器学习】——2.2正态分布模式的贝叶斯分类器

Ei{x}表示对类别属于ωi的模型的数学期望。

对于n维研究对象X{x1,x2,x3...}(共有N个)属于w1或w2,他们的mi和ci可以定义为:

注:m1,c1,N1,X1j是w1的参数;m2,c2,N2,X2j是w2的参数;xij规定以列向量形式表示

【模式识别与机器学习】——2.2正态分布模式的贝叶斯分类器

正态分布模式的贝叶斯判别函数:属于类别ωi的判别函数

【模式识别与机器学习】——2.2正态分布模式的贝叶斯分类器

 

两类问题且其类模式都是正态分布的特殊情况

  由以上可知,算出d1(x)和 d2(x),判别界面即为d1(x)- d2(x)=0,即当判别界面d1(x)- d2(x)>0时视为w1类;当判别界面d1(x)- d2(x)<0时视为w2类。

  ① 当C1≠C2时的情况 显然,判别界面d1(x)- d2(x)=0是x的二次型方程,即ω1和ω2两类模式可用二次判别界面分开。 当x是二维模式时,判别界面为二次曲线,如椭圆,圆,抛物线或双曲线等。

  ② 当C1=C2 =C时的情况 判别界面为x的线性函数,为一超平面。 当x是二维时,判别界面为一直线。

两类问题且其类模式都是正态分布的实例

模式分布如图所示,若作为正态分布处理,且P(ω1)=P(ω2)=1/2,求其判别界面。

【模式识别与机器学习】——2.2正态分布模式的贝叶斯分类器

模式的均值向量mi和协方差矩阵Ci可用下式估计:

【模式识别与机器学习】——2.2正态分布模式的贝叶斯分类器

  其中N其中Ni为类别为类别ωi中模式的数目,x中模式的数目,xij代表在第i个类别中的第j个模式。由上式可求出:

【模式识别与机器学习】——2.2正态分布模式的贝叶斯分类器

【模式识别与机器学习】——2.2正态分布模式的贝叶斯分类器

【模式识别与机器学习】——2.2正态分布模式的贝叶斯分类器

【模式识别与机器学习】——2.2正态分布模式的贝叶斯分类器

【模式识别与机器学习】——2.2正态分布模式的贝叶斯分类器

设P(ω1)=P(ω2)=1/2,因C1=C2,则判别界面为:(记住这个公式和其使用的特殊条件,以简化计算)

【模式识别与机器学习】——2.2正态分布模式的贝叶斯分类器

M种模式类别的多变量正态类密度函数

  判别函数是一个超二次曲面。 对于正态分布模式的贝叶斯分类器,两个模式类别之间用一个二次判别界面分开,就可以求得最优的分类效果。