1.一句话真正意思的概率P(S)=P(W1,W2,...,Wn)
根据条件概率变形：
P(W1,W2,...,Wn)=P(W1)P(W2|W1)...P(Wn|W1,W2,...,Wn-1)——统计语言原始模型
假设一个词出现的概率只跟上一个词有关（马尔科夫假设），则原始模型变形为
P(S)=P(W1)P(W2|W1)...P(Wn|Wn-1)——统计语言模型的二元模型
可以通过#(wn,wn-1)/#(wn)来计算P(wn|wn-1)，其中#(wn,wn-1)表示两者同时出现的次数
一般的，一个词出现的概率与前N个词有关
即P(wi|w1,w2,..,wi-1)=P(wi|wi-N+1,w2,...wi-1)
得出统计语言的N元模型：一般用3元模型，google用的是4
2.规避词出现的概率为0的平滑过渡方法
模型应用中会出现#(wn,wn-1)=0的情况，其规避思路如下：
对于没有看见的事件，我们不能认为其发生的概率为0，因此我们可以从概率的总量中，分配一个很小的比例给这些看不见的时间
预料库的总词数为N，出现r次的单词有Nr个，则
则r次的词在整个词料库中的相对频度为r/N
当r较小时，其统计可能不可靠，因此出现r次词的概率应该用更小一点的次数dr=(r+1)*Nr+1/Nr，而显然
.
.
一般来说，出现一次的词的数量比出现两次的词多，两次的比三次的词多，这种规律称为Zipf定律，
实际中，当频率超过阀值的词，他们的概率估计就是其在语料库中的相对频度，而小于此频率的词，其概率估计就小于他们的相对频度，因为根据大数定律，出现次数越高的词，它的相对频度越接近概率分布
3.预料的选取问题：
如果训练预料和模型应用的领域脱节，模型的效果会大打折扣
对于模式的、量大的嗓音，在训练集中必须进行过滤