贝叶斯定理
几个概念:
1. 条件概率:P(A|B)=P(A⋂B)P(B) ,指在事件B发生的条件下A发生的概率。
2. 联合概率:即A B同时发生的概率,即P(A,B)=P(A⋂B)=P(A|B)∗P(B)=P(B|A)∗P(A)
3. 边缘概率(又称先验概率),边缘概率是这样得到的:在联合概率中,把最终结果中那些不需要的事件通过合并成它们的全概率,而消去它们(对离散随机变量用求和得全概率,对连续随机变量用积分得全概率),这称为边缘化。贝叶斯公式:
P(A|B)=P(A⋂B)P(B)
贝叶斯网络
概念:一种概率图模型。它是一种模拟人类推理过程中因果关系的不确定性处理模型,其网络拓朴结构是一个有向无环图(DAG)。 图中连接两个节点的箭头代表此两个随机变量是具有因果关系,或非条件独立。
把某个研究系统中涉及的随机变量,根据是否条件独立绘制在一个有向图中,就形成了贝叶斯网络
DAG中节点x的联合概率:
P(x)=∏i⊂IP(xi|parent(xi))
思考
既然已经知道了什么叫贝叶斯网络,那么如果需要回答基于贝叶斯网络上的概率问题,又该如何去解决呢?或者说是否有一套方法去解决DAG上的概率问题?
说的更加容易懂的话,就是如果这些随机变量不相互独立,且相互之间有因果关系,在给定训练集的情况下,如何通过随机变量的值去猜测类别?
众所周知,如果给定的随机变量都相互独立,要通过随机变量的值推测类别,直接使用朴素的贝叶斯算法就行了?
下面先了解几个概念:
D分离:判断DAG图中两个变量是否相互独立的方法。有三种形态的链,各自对应不同的结论。