贝叶斯分类器

1、条件概率

P(A|B)=P(AB)P(B)

即：在事件B发生的条件下事件A发生的频率，等于事件A、B同时发生的频率除以事件B发生的频率，可以通过文氏图来理解条件概率。

由条件概率可以得到乘法公式：

P(AB)=P(A|B)P(B) ，同理： P(AB)=P(B|A)P(A)

2、全概率公式

设 B1,B2,...,Bn 为一完备事件组，即相互之间交集为空，且总的并集为1，则对事件A有：

P(A)=∑ni=1P(A|Bi)P(Bi) ，其中i=1,2,…,n

3、贝叶斯公式

设 B1,B2,...,Bn 为一完备事件组，即相互之间交集为空，且总的并集为1，则有：

P(Bj|A)=P(A|Bj)P(Bj)∑ni=1P(A|Bi)P(Bi) ，其中i、j=1,2,…,n

4、贝叶斯分类

假设有n个类别，分别为 C1,C2,...,Cn

各个类别的概率，即 P(C1),P(C2),...,P(Cn) ，是好求的，称为先验概率

有k个特征，分别为 t1,t2,...,tk ，贝叶斯分类假设各个特征之间是相互独立的

各个类别中每个特征的概率也可以求出来，即求

P(t1|C1),P(t2|C1),...,P(tk|C1)
P(t1|C2),P(t2|C2),...,P(tk|C2)
….
P(t1|Cn),P(t2|Cn),...,P(tk|Cn)

假设有一特征向量为 t′1,t′2,...,t′k ，现在要对其分类，即在特征为 t′1,t′2,...,t′k 的情况下，看看那个类别的概率最大，最大的那个类别的概率即为贝叶斯分类的结果，求：

P(C1|(t′1,t′2,...,t′k)),...,P(Cn|(t′1,t′2,...,t′k))

以求 P(C1|(t′1,t′2,...,t′k)) 为例：

P(C1|(t′1,t′2,...,t′k))=P((t′1,t′2,...,t′k)C1)P(t′1,t′2,...,t′k)=P((t′1,t′2,...,t′k)|C1)P(C1)P(t′1,t′2,...,t′k)

秒客网