信息论基础知识

信息论基础知识

• 自信息
• 信息熵
• 条件自信息和条件熵
• 互信息
• 联合熵
• 信息率与信道容量

自信息

自信息衡量的是信源符号本身的不确定性。信源符号发生的概率越大，自信息越小；反之，自信息越大。若信源符号$s_{i}$si​发生的概率为$p_{i}$pi​，则$s_{i}$si​的自信息记为$I(s_{i})$I(si​)。公式为：
$I(s_{i})=log\frac{1}{p_{i}}=-logp_{i}$I(si​)=logpi​1​=−logpi​
（log可以以2，e为底，若以2为底，则以bit为单位；以e为底，以nat为单位）

信息熵

信息熵是信源发出符号的平均信息量，衡量信源的不确定性。记为$H(S)$H(S)，公式为：
$H(S)=\sum_{i=1}^{n}p_{i}I(s_{i})=-\sum_{i=1}^{n}p_{i}logp_{i}$H(S)=i=1∑n​pi​I(si​)=−i=1∑n​pi​logpi​
例如：

条件自信息和条件熵

条件自信息量为：
$I(x_{i}|y_{j})=log\frac{1}{p(x_{i}|y_{j})}=-logp(x_{i}|y_{j})$I(xi​∣yj​)=logp(xi​∣yj​)1​=−logp(xi​∣yj​)
条件熵为：
$H(X|Y)=E[I(x_{i}|y_{j})]=-\sum_{i=1}^{m}\sum_{j=1}^{n}p(x_{i},y_{j})logp(x_{i}|y_{j})$H(X∣Y)=E[I(xi​∣yj​)]=−i=1∑m​j=1∑n​p(xi​,yj​)logp(xi​∣yj​)
条件熵衡量的是当收到Y时X的剩余熵（不确定性）

互信息

互信息是衡量收到一个一个变量而使另一个变量的不确定性减少的量。也可以理解为从接收信号中获取的关于另一信号的信息量。
$I(X|Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)$I(X∣Y)=H(X)−H(X∣Y)=H(Y)−H(Y∣X)

联合熵

联合熵是两个变量的不确定性
$H(X,Y)=-\sum_{i=1}^{m}\sum_{j=1}^{n}p(x_{i},y_{j})logp(x_{i},y_{j})=H(X)+H(Y|X)=H(Y)+H(X|Y)$H(X,Y)=−i=1∑m​j=1∑n​p(xi​,yj​)logp(xi​,yj​)=H(X)+H(Y∣X)=H(Y)+H(X∣Y)
信息熵、条件熵、联合熵和互信息之间的关系是：

信息率与信道容量

信息率是每个信号的平均熵
$R=I(X)=H_{\infty }(X)$R=I(X)=H∞​(X)
对一个如下图所示的有噪声信道来说

信息率等于：$R=I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)$R=I(X;Y)=H(X)−H(X∣Y)=H(Y)−H(Y∣X)
而信道容量是能够被可信传输的上界，即信道容量C为：
$C=\underset{P_{x}}{max}R=\underset{P_{x}}{max}I(X;Y)$C=Px​max​R=Px​max​I(X;Y)