一、最大似然估计与最大后验概率
1、概率与统计
概率与统计是两个不同的概念。
概率是指：模型参数已知，X未知，p(x1) ... p(xn) 都是对应的xi的概率
统计是指：模型参数未知，X已知，根据观测的现象，求模型的参数
2、似然函数与概率函数
- 似然跟概率是同义词，所以似然也是表示概率，但这个概率有些不一样。
似然是指：模型在不同参数下， p(x1) ... p(xn) 发生的概率
似然估计是指：模型的参数未知，X已知，根据观测现象（X），估计模型参数的过程
- 最大似然估计（为什么要最大）：
对于观测数据集x1,x2...xn, 在θ下发生的概率分别是p(x1|θ),p(x2|θ)... p(xn|θ), 所以出现该观测数据集的概率为 P(X|θ) = p(x1|θ)p(x2|θ)... p(xn|θ), 那想一想为什么我一下就会抽出x1, x2 ... xn这n个数据呢？一种直观的解释就是 它们发生的概率大，所以 就是求让 P(X)最大下的θ，这就是最大似然估计。
3、最大后验概率
最大似然是求参数，让P(X|θ)最大，最大后验概率是让P(X|θ)P(θ)最大，相当于给似然函数加了一个关于θ的权重。
为什么要让 P(X|θ)P(θ) 最大？
想一想我们在干什么？我们是根据一群观测数据X = （x1, x2 ... xn) 估计模型的参数，即求 P(θ0 | X), 用贝叶斯改一下就是
P(θ0 | X) = P(X|θ0) P(θ0) / P(X) , 对于给定的观测序列X来说P（X）是固定的，所以我们求后验概率P(θ0 | X)最大就是求P(X|θ0) P(θ0)最大
对于