【文件属性】:
文件名称:TextMining:Python文本挖掘系统
文件大小:3.29MB
文件格式:ZIP
更新时间:2021-03-11 15:24:50
系统开源
文本挖掘系统
系统说明
集成了文本过滤,去重及邮件实时通知的功能
集成了文本关键字提取的功能
集成了文本分类即打标签的功能
集成了文本推荐即景点评价的功能
支持中英文
系统架构图
关于分词
英文分词,采用nltk工具包进行分词
pip install nltk
中文分词,采用jieba工具包进行分词
pip install jieba
jieba分词
dict 主词典文件
user_dict 用户词典文件,即分词白名单
user_dict为分词白名单
如果添加的过滤词(包括黑名单和白名单)无法正确被jieba正确分词,则需要添加的单词和词频加入到主字典dict文件中或者用户词典user_dict,一行一个(词频也可省略)
关于停用词,黑名单,白名单
stopwords为停用词
可以随时添加重启的单词,一行一个
blackwords为过滤词黑名单
可以随时添加过滤的单词,一行一个
writ
【文件预览】:
TextMining-master
----TextConfig.py(5KB)
----Test.py(708B)
----MongoDBIO.py(2KB)
----TextMining.py(17KB)
----文本挖掘系统介绍.pdf(1.35MB)
----SendMail.py(3KB)
----Architecture-of-Text-Mining-System.png(216KB)
----TextProcess.py(12KB)
----TextMain.py(8KB)
----README.md(4KB)
----Config()
--------stopwords()
--------dict()