离散无记忆与有记忆信源的序列熵

本专栏包含信息论与编码的核心知识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：​​information-theory​​】，需要的朋友们自取。或者公众号【AIShareLab】回复 信息论 也可获取。

离散无记忆信源的序列熵

马尔可夫信源的特点：无后效性。

发出单个符号的信源

• 指信源每次只发出一个符号代表一个消息;

发出符号序列的信源

• 指信源每次发出一组含二个以上符号的符号序列代表一个消息。

当信源无记忆时：

信源的序列熵

• 若又满足平稳特性（平稳信号包含的信息量小，其统计特性随时间不变化）,即与序号l无关时:

  

• 信源的序列熵

  

• 平均每个符号(消息)熵(符号熵) 为

  

例: 有一个无记忆信源随机变量 , 等概率分布, 若以单个符号出现为一事件, 则此时的信源熵:

bit/符号即用 1 比特就可表示该事件。

• 如果以两个符号出现 ( 的序列 )为一事件, 则随机序 列 , 信源的序列熵bit/序列，即用2比特才能表示该事件。
• 信源的符号熵

  

  bit/符号

• 信源的序列熵

• 平均每个符号 (消息) 熵为

离散有记忆信源的序列熵

对于有记忆信源,就不像无记忆信源那样简单, 它必须引入条件熵的概念, 而且只能在某些特殊情况下才能得到一些有价值的结论。

对于由两个符号组成的联合信源, 有下列结论:

当前后符号无依存关系时,有下列推论:

若信源输出一个L长序列,则信源的序列熵为

平均每个符号的熵为：

若当信源退化为无记忆时: 若进一步又满足平稳性时

平稳有记忆N次扩展源的熵

设 为离散平稳有记忆信源,的次扩展源记为 ,​​

根据熵的可加性,得

根据平稳性和熵的不增原理,得, 仅当无记忆信源时等式成立。

对于 的次扩展源, 定义平均符号熵为:

信源 的极限符号熵定义为：

极限符号熵简称符号熵, 也称熵率。

定理: 对任意离散平稳信源, 若 , 有:

(1) 不随而增加;

(2)

(3)不随 N 而增加;

(4) 存在,且

该式表明, 有记忆信源的符号熵也可通过计算极限条件熵得到。

参考文献：

1. Proakis, John G., et al. Communication systems engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
2. Proakis, John G., et al. SOLUTIONS MANUAL Communication Systems Engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
3. 周炯槃. 通信原理（第3版）[M\]. 北京：北京邮电大学出版社, 2008.
4. 樊昌信, 曹丽娜. 通信原理（第7版） [M\]. 北京：国防工业出版社, 2012.