信息论随笔3: 交叉熵与TF-IDF模型

时间:2023-03-10 03:33:20
信息论随笔3: 交叉熵与TF-IDF模型

接上文:信息论随笔2: 交叉熵、相对熵,及上上文:信息论随笔

在读《数学之美》的时候,相关性那一节对TF-IDF模型有这样一句描述:“其实 IDF 的概念就是一个特定条件下、关键词的概率分布的交叉熵(Kullback-Leibler Divergence)”;

当时尚不明白,等我看懂交叉熵与相对熵之后,再看TF-IDF,略有所获,本想与上一篇合写在一起的,但越写越多,于是单独成文;

文档的信息量

一篇文档由m个词组成

\( d = (w_{1}, w_{2}, w_{3}, ......, w_{m} ) \)

这篇文档d成文的概率是

\( p(d) = p(w_{1}, w_{2}, w_{3}, ......, w_{m}) \)

这篇文档d的自信息量是

\( I(d) = -log_{2}p(d) = -log_{2}p(w_{1}, w_{2}, w_{3}, ......, w_{m}) \)

假设1:每个词的出现是独立事件,则有

\( p(w_{1}, w_{2}, w_{3}, ......, w_{m}) = p(w_{1})p(w_{2})p(w_{3})......p(w_{m}) \)

这篇文档d的自信息量是

\( I(d) = -log_{2}p(w_{1}, w_{2}, w_{3}, ......, w_{m}) = -log_{2}p(w_{1})-log_{2}p(w_{2})-log_{2}p(w_{3}) ...... -log_{2}p(w_{m}) \)

\(  = I(w_{1}) + I(w_{2}) + I(w_{3}) + ...... + I(w_{m}) \)

至此,得到一个很显而易见的结论,结论1:在假设1条件下,一篇文档的信息量是组成它的所有词的信息量之和;

再考虑到词可能出现重复,设m个词*有k个不重复词,每个词的重复次数是\( n_{k} \),则:

这篇文档d的自信息量是

\( I(d) =  n_{1}I(w_{1}) + n_{2}I(w_{2}) + n_{3}I(w_{3}) + ...... + n_{k}I(w_{k}) \)

\( = \sum\limits_{i=1}^{k}n_{i}I(w_{i}) \)

词的概率分布估计

在上面文档信息量公式中,需要计算每个词的自信息量,但事实上这是做不到的,因为一个词在语言中的真实概率分布是不可知的,只能进行估计;

设我们估计得到的词概率分布为q;通常求q的方法可以是统计一个比较大的语料库中各个词的出现概率,为了迎合 IDF是KL散度的一说法,我只能再把《数字之美》中的两个假设拉进来;

假设2:每篇文档大小基本相同,都为m个词;

假设3:一个词如果出现在文档中,则在每个文档中出现的次数都相同;(注:我也觉得这个假设太过理想了)

有了以上假设后,我们可以估计每个词的概率分布进而求解其信息量了;

设共有D篇文档,每篇文档有m个词,其中包含词\(w_{i}\)的文档有\(D(w_{i})\)篇,有:

\( q(w_{i}) = \frac{n_{i}D(w_{i})}{mD}\)

设词\(w_{I}\)在文档d中的真实概率分布为p',于是:

\( p'(w_{i}) = \frac{n_{i}}{m} \)

然后把p'、q套进相对熵公式:

\( D_{KL}(p' || q) = \sum\limits_{i=1}^{k}p'(w_{i})log_{2}\frac{p'(w_{i})}{q(w_{i})} \)

\( =  \sum\limits_{i=1}^{k}  \frac{n_{i}}{m} log_{2}\frac{n_{i}/m}{ n_{i}D(w_{i})/mD} \)

\( =  \sum\limits_{i=1}^{k}  \frac{n_{i}}{m} log_{2}\frac{1}{D(w_{i})/D} \)

\( = \sum\limits_{i=1}^{k} TF(w_{i})IDF(w_{i}) \)

由此得到一个结论,结论2:利用假设1、2、3条件下的词概率分布估计一个文档中某个词W的可能性所多产生的不确定性就是d中所有词的TF-IDF之和;

这个结论2写得有点拗口,只是尽力让结论成一句话,下面试着多写几句话进行解释:

  1. 首先,这个结论基于特定的条件,即假设1、2、3所设定的条件;
  2. 在这个特定条件下,我们得到了一种关于词概率分布的估计q;
  3. 用q去估计文档d中某个词W的可能性是浪费的,因为q几乎不可能与文档d中的真实词概率分布p'相同,交叉熵大于等于信息熵,即相对熵恒大于0;
  4. 以上相对熵是描述d中的某个词时的相对熵(多出来的不确定度);重要的事情说三遍,某个词、某个词、某个词;
  5. 对文档d中的所有词求TF-IDF之和,就是这个相对熵;
  6. 每个词的TF-IDF,是对这个相对熵的贡献,其中IDF是对相对熵的关键贡献值,TF是个权重;这应该就是吴军在《数学之美》中所讲的“IDF 的概念就是一个特定条件下、关键词的概率分布的交叉熵(Kullback-Leibler Divergence)”,只不过在中英文对照上出了问题,KL散度应该对应是相对熵,而相对熵与交叉熵在很多时候又分不清楚;
  7. 当这个相对熵(TF-IDF之和)越大,q对文档d的描述越差,说明文档d的内容指向性越强,因为q是对整个语言中所有词的概率分布的估计;当这个相对熵越小(TF-IDF之和)越小,q对文档d的描述越好,说明文档d的内容指向性越差,越可能是随机按q选取词堆砌成文;

词交叉熵与文档估计信息量

上面既然推算出了相对熵,那再来看看交叉熵;

同样将p'、q带入交叉熵公式:

\( H(p', q) = -\sum\limits_{i=1}^{k}p'(w_{i})log_{2}q(w_{i}) \)

\(  = \sum\limits_{i=1}^{k}  \frac{n_{i}}{m} I'(w_{i}) , 设 I'(w_{i}) = -log_{2}q(w_{i}) \)

\(  = \frac{1}{m} \sum\limits_{i=1}^{k} n_{i}I'(w_{i}) \)

\(  = \frac{1}{m} I'(d) \)

即:

\( I'(d) = mH(p', q) \)

上面说过了,因为我们无法获知一个词的真实自信息量,所以无法获知文档d的真实自信息量,但我们引入假设2、3条件后,可以用q做估计,从而得到在q概率分布下,文档d的估计信息量,就是这个I'(d);

这个I'(d)为啥是交叉熵的m倍?还记得上面那个说三遍吗,不管是这里的交叉熵还是相对熵,都是与某个词有关的熵;而文档d有m个词,当然信息量会翻m倍了;

例子:

仍然使用上一篇随笔中的例子:

含有4个字母(A,B,C,D)的数据集,组成了一篇文档d,d的内容只有两个字母“AB”,我们不知道数据集元素的真实分布p,只知在文档d内p‘=(1/2, 1/2, 0, 0);

如果使用p'来编码,H(p') = 1,每个字母使用一位编码,设定"A" = 0, "B" = 1,则d=01,文档d的编码长度为2;

根据假设2、3条件,共有12篇文档,每篇长度是2(假设2),且每个字母在所有包含它的文档中出现次数都相同(假设3),分别是

AB  AC  AD

BA  BC  BD

CA  CB  CD

DA  DB  DC

得到估计分布q=(1/4, 1/4, 1/4, 1/4),使用q来编码,则得到H(p’,q)=2,每个字母需要2位编码来识别,设定"A" = 00, "B" = 01, "C" = 10, "D" = 11;则d=0001,文档d的编码长度为4;

字母的交叉熵是2,相对熵是1,文档d的估计信息量为4;

IDF(A) = log(12/6) = 1,IDF(B) = log(12/6) = 1;

TF(A)*IDF(A) + TF(B) *IDF(B) = 1/2* 1 + 1/2 * 1 = 1,与相对熵相等;