朴素贝叶斯分类

朴素贝叶斯Naive Bayes

其原理是根据最大后验概率来对数据进行分类

也就是把数据分类到使得后验概率最大的那一类

有点像极大似然估计

公式

贝叶斯公式：
P(B|A)=P(A|B)P(B)P(A)

具体到贝叶斯分类的应用就是：

P(类别|特征)=P(特征|类别)P(类别)P(特征)

最后我们求出使得上式最大的那个类别，就是贝叶斯分类结果

例子1

如上图，天气、温度、湿度、风力决定了是否打球

有14个样本

现在的天气是：
outlook=sunny
temperature=mild
humidity=normal
wind=weak
那么请用贝叶斯方法来决定是否去打球

P(打球|sunny,mild,normal,weak)=P(sunny,mild,normal,weak|打球)P(打球)P(sunny,mild,normal,weak)          (1)

在这里我们假设天气、湿度、温度、风向在打球或者不打球的条件下互相条件独立、互不影响，这里正是朴素贝叶斯的朴素之处

要注意：这里是条件独立

则： P(sunny,mild,normal,weak|打球)=P(sunny|打球)P(mild|打球)P(normal|打球)P(weak|打球)=29496969=32279

P(打球)=914

同理有：
P(不打球|sunny,mild,normal,weak)=P(sunny,mild,normal,weak|不打球)P(不打球)P(sunny,mild,normal,weak)          (2)

其中，

P(sunny,mild,normal,weak|不打球)=P(sunny|不打球)P(mild|不打球)P(normal|不打球)P(weak|不打球)=35251525=12625

P(不打球)=514

观察(1)(2)可知，要比较两者大小，只需比较两者分子大小

由前面的计算可知：
(1)式的分子等于： 32279×914=0.07373

(2)式的分子等于： 12625×514=0.00685

明显(1)式大于(2)式

因此朴素贝叶斯估计结果为去打球