基于hash的文档判重——simhash
本文环境：python3.5ubuntu16.04第三方库：jieba文件寄于github: https://github.com/w392807287/angelo_tools.gitsimhash介绍没多久就要写毕业论文了，据说需要查重，对文档重复判定还挺好奇的所以看了下相关的东西。发现simh...
.NET下文本相似度算法余弦定理和SimHash浅析及应用
余弦相似性原理：首先我们先把两段文本分词，列出来所有单词，其次我们计算每个词语的词频，最后把词语转换为向量，这样我们就只需要计算两个向量的相似程度. 我们简单表述如下 文本1：我/爱/北京/*/经过分词求词频得出向量（伪向量） [1,1,1,1] 文本2：我们/都爱/北京/*/经过分词求词频...