该笔记主要介绍概率图模型最基本的绪论，包括想要解决什么问题，有哪些常见的概率图模型，以及如何建模、推理和学习。
1 Introduction
课程主要是用图模型的方式解决复杂的概率问题（不含coding相关）
Life is full of uncertainy
概率是用于描述不确定性的数学模型
决策的难度源于现实世界的决策空间太大（维数灾难：简单的系统有太多的决策，指数导致参数过多）、系统的元素太多（复杂性问题）
eg. 医生的诊断就是一个复杂问题的决策
当上述的症状数量增加，病因增加之后，决策空间将更加庞大，依赖于医生的经验误判概率将更大，这也是为什么希望通过算法模型来辅助
中医的五行学说的本质就是隐空间有5个隐变量（无法解释为什么是五维的隐空间）
2 Basics in with Probability
频数概率：
\(P(x) \approx \frac{n_x}{n_t}\) \(P(x)=lim\frac{n_x}{n_t}\)
贝叶斯概率：
X是原因 Y是结果（观测），现在需要的是从结果推出原因
故而从：
\[P(XY)=P(X|Y)P(Y)=P(Y|X)P(X)\]变形后：
\[P(X|Y)=\frac{P(Y|X)P(X)}{P(Y)}\]而：
\[P(Y)=\Sigma_XP(Y|X)P(X)\]独立性会降低推理的自由度
如X和Y独立那么：
\[P(XY)=P(X)P(Y)\]最常用的公式：
链式法则：
全概率公式：
3 Basics in Graph
图论的经典起源是修桥的七桥问题
一般性的有向图用G表示，V表示结点，E表示边：
\[G(V,E)\]无向图则用H表示（同一条路径双向可达）
临界矩阵：
\[A={a_{ij}}_{n*n}\]
polytree是单个节点可以有多个父节点但不能有三角形或者四边形
chordal graph是图例不能有多于三角形的多边形
4 Probabilistic Graphical Models（PGMs)
PGMs在表述层面的优势：
相较于直接看公式而言看图可以更加明晰的了解事件之间的关系
提供通解框架uniform framework for reasoning
无向图的例如上面的四个白色节点之间的连接是双向可同行
无向图在cv nlp和语音识别上广泛应用，例如马尔可夫随机场被广泛应用于图像分割之中
Three Steps for PGMs
- Representation：how to model your problems using probability and graph——即建模
- Inference：how to calculate the posterior with some given/observed variables (model is known)
- Learning：how to estimate the parameters of the model when you only have observed data