【模式识别】学习笔记(2)>>>【判别函数】

时间:2024-03-23 15:57:28

判别函数在模式识别系统的主要作用就是判别各个模式所属的类别。

如下直线描述的判别函数即将模式分为两类。

【模式识别】学习笔记(2)>>>【判别函数】

获取判别函数:

        1-先确定判别函数形式,线性还是非线性、直线曲线折线等;

        2-确定函数系数,通过可分类的模式样本来确定。

线性判别函数:

        在线性判别函数求取中,两类的判别函数固然好求,对于多类的求法我们有以下两种方法:

Mi/非Mi二分法:

        以Mi类与其他M-1类分开为依据求取判别函数,共需M个判别函数。

【模式识别】学习笔记(2)>>>【判别函数】

Mi/Mj二分法:

        以将Mi于Mj两两分开为依据求取判别函数,共需M*(M-1)/2个判别函数。

【模式识别】学习笔记(2)>>>【判别函数】

        显然,这两种分法都会产生不确定区域(IR),就是切下来的蛋糕没有人吃了,这让我们很惆怅啊。

那么对于这种情况,我们将第二种分法进行改进:

        分解因式dij(x) = di(x) - dj(x) = (wi  wj)Tx,

        则dij(x)>0相当于di(x)>dj(x),任意j!=i,这时不存在不确定区域。

        相对于第二种方法,我们将判别函数的交点都放到一个点上:

【模式识别】学习笔记(2)>>>【判别函数】

如此一来,M类情况分成M-1个两类问题,共有M个判别函数。

作业:

 【模式识别】学习笔记(2)>>>【判别函数】

我的解答(不知道对不对):

        网上搜到一份答案:http://www.docin.com/p-119036970.html

        法一:

【模式识别】学习笔记(2)>>>【判别函数】

        法二:

 

【模式识别】学习笔记(2)>>>【判别函数】

        法三:

 【模式识别】学习笔记(2)>>>【判别函数】

广义线性判别函数:

基本思想:

        对于线性不可分的情况,寻求一种将其转化为线性可分的情况以求取判别函数。

        相对于原模式集x,寻求这样的x*:x*中各模式分量是x的单值实函数,且其维数k高于x的维数n,也就是:

        x*=(f1(x),f2(x),...,fk(x)),k>n,且x*线性可分,即有:

        d(x*) = wTx*,其中w = (w1, w2, wk, wk+1)T

        该式表明,非线性判别函数已被变换成广义线性,因此只讨论线性判别函数不会失去一般性意义,所以人可以通过类似线性方法确定判别函数。

当x是二维的情况:

        即x=(x1 x2) T。若原判别函数为:

【模式识别】学习笔记(2)>>>【判别函数】

        要线性化为d(x*) = wTx*,须定义:

【模式识别】学习笔记(2)>>>【判别函数】

【模式识别】学习笔记(2)>>>【判别函数】

        此时,只要把模式空间x*中的分量定义成x的单值实函数,x*即变成线性可分。此时x*的维数(这里为6)大于x的维数(这里为2)。

当x是n维的情况:

        此时原判别函数设为:

【模式识别】学习笔记(2)>>>【判别函数】

        式中各项的组成应包含x的各个分量的二次项、一次项和常数项,其中平方项n个,二次项n(n-1)/2个,一次项n个,常数项一个,其总项数为:

        n + n(n-1)/2 + n + 1 = (n+1)(n+2)/2 > n


你很容易注意到,以上的模式分量最高次都是2次,那么问题又来了,对于多次的模式分量又是什么样的呢?

当x为n维,其判别函数为r次多项式:

【模式识别】学习笔记(2)>>>【判别函数】

【模式识别】学习笔记(2)>>>【判别函数】

小结:

显然,d(x)的项数随r和n的增加会迅速增大,即使原来模式x的维数不高,若采用次数r较高的多项式来变换,也会使变换后的模式x*的维数很高,给分类带来很大困难。
实际情况可只取r=2,或只选多项式的一部分,例如r=2时只取二次项,略去一次项,以减少x*的维数。


举一反三:

【模式识别】学习笔记(2)>>>【判别函数】

        当我们的分类情况是这样时:

                    类1:x<=2 ||  (x>5 && x<=18)

                    类2:(x>2 && x<=5) || x>18

        那么,在一维的坐标轴中我们很难将这两类用一条直线/一个点将其分开,这个时候我们考察函数式:

y=(x+2)(x-5)(x-18);

即:d(x)=y=x^3-21*x^2+44*x+180;

        这是一个1维3次项情况,令x1=f1(x)=x^3,x2=f2(x)=x^2,x3=f3(x)=x,

那么x*=(x1 x2 x3 1) TwT=(1 -21 44 180),

        这样子就通过变换函数系将问题升维转化为三维线性判别函数问题进行求解,也就是通过函数y=(x+2)(x-5)(x-18)的符号即可分类,这符合判别函数d(x)的特点。

分类描述:

讲了一大通的判别函数,相信您一定是饥渴难耐跃跃欲试了吧,那么判别函数怎么用呢。

设有判别函数:d(x)=wTx

那么其判别界面为:wTx=0

对两类问题,ω1类有模式{x1 x2},ω2类有模式{x3 x4} 

则应满足如下条件:

wTx1>0,wTx2>0,wTx3<0,wTx4<0

因此,若权向量能满足上述四个条件,则wTx=0为所给模式集的判别界面。

转载于:https://my.oschina.net/Parser/blog/381660