一文拿捏点互信息(PMI)解决词分布式表示稀疏性问题
前馈知识之前在word embedding里浅浅的说了一下one-hot是怎么向词向量表示发展的,大家可以回顾一下。接下来我补充一下,接说二者之间还有一个阶段,词的分布式表示。词的分布式表示理论分布式表示的发展英国语言学家John Rupert Firth 在1957 年的《A synopsis o...
前馈知识之前在word embedding里浅浅的说了一下one-hot是怎么向词向量表示发展的,大家可以回顾一下。接下来我补充一下,接说二者之间还有一个阶段,词的分布式表示。词的分布式表示理论分布式表示的发展英国语言学家John Rupert Firth 在1957 年的《A synopsis o...