概率图模型是图论与概率方法的结合产物。Probabilistic graphical models are a joint probability distribution defined over a graph，概率图模型是定义在一副图上的联合概率分布（joint probability distribution）。
图模型分为两种：
- 有向图（directed graphs）：bayesian networks
- 无向图（undirected graphs）：Markov random fields
1. 定义
贝叶斯网络定义：
- DAG（Directed Acyclic Graph）：有向无环图；
- 结点 (X1,X2,…,Xn) 表示的是随机变量（random variables）；
- 网络中的每一个结点 Xi，都有条件概率分布，P(Xi∣∣ParG(Xi))
- ParG(Xi)：表示的是 Xi 在网络中的父节点；
- 贝叶斯网络最终刻画的是结点所代表的随机变量的联合概率密度（joint distribution） P(X1,…,Xn)=∏iP(Xi∣∣ParG(Xi))
Probabilistic graphical models are a joint probability distribution defined over a graph，概率图模型是定义在一副图上的联合概率分布（joint probability distribution）。如下图所示：
也即此贝叶斯网络表示了如下的联合概率分布：
p(Lo,Li,S)=P(Lo)P(Li|Lo)P(S|Lo)
2. 贝叶斯网对应的“分布”
贝叶斯网络对应的“分布”是一种合法的概率分布（legal distribution），也即需满足
- Pi≥0：显然成立
-
∑Pi=1
需要证明，比如这样一个简单的例子，应用链式法则（chain rule），展开得：
∑D,I,G,S,LP(D,I,G,S,L)======∑D,I,G,S,LP(D)P(I)P(G|I,D)P(S|I)P(L|G)∑D,I,G,SP(D)P(I)P(G|I,D)P(S|I)∑LP(L|G)∑D,I,G,SP(D)P(I)P(G|I,D)P(S|I)⋅1∑D,I,GP(D)P(I)P(G|I,D)∑SP(S|I)1⋯1- ∑LP(L|S)=1，这是 CPD（conditional probability distribution）的性质（也即对条件概率分布的一行进行求和）；