【文件属性】：
文件名称：HanLP：汉语语言处理-源码
文件大小：94.28MB
文件格式：ZIP
更新时间：2022-03-27 11:54:34
HanLP NLP分词 极速词典分词 用户自定义词 中国人名识别
HanLP是一系列模型与算法组成的NLP工具包，由大快搜索主导并完全开源，目标是普及自然语言处理在生产环境中的应用.HanLP具备功能完善，性能高效，架构清晰，语料时新，可自定义的特点。
HanLP提供下列功能：
中文分词
HMM-两字组（速度与精度最佳平衡;一百兆内存）
最短路分词，N-最短路分词
由字构词（侧重精度，全世界最大语料库，可识别新词;适合NLP任务）
感知机分词，CRF分词
词典分词（侧重速度，每秒数千万字符;省内存）
极速词典分词
所有分词器都支持：
索引全切分模式
用户自定义词典
兼容繁体中文
训练用户自己的领域模型
词性标注
HMM词性标注（速度快）
感知机词性标注，CRF词性标注（精度高）
命名实体识别
基于HMM角色标注的命名实体识别（速度快）
中国人名识别，音译人名识别，日本人名识别，地名识别，实体机构名识别
基于线性模型的命名实体识别（精度高）
感知机命名实体识别，CRF命名实体识别
关键词提取
TextRank关键词提取
自动摘要
TextRank自动摘要
短语提取
基于互信息和左右信息熵的短语提取
拼音转换
多音字，声母，韵母，声调
简繁转换
简繁分歧词（简体，繁体，*正体，香港繁体）
文本推荐
语义推荐，拼音推荐，字词推荐
依存句法分析
基于神经网络的高性能依存句法分析器
基于ArcEager转移系统的柱搜索依存句法分析器
文本分类
情感分析
文本聚类
KMeans，Repeated Bisection，自动推断聚类数目k
word2vec
词向量训练，加载，词语相似度计算，语义运算，查询，KMEANS聚类
文档语义相似度计算
语料库工具
部分默认模型训练自小型语料库，鼓励用户自行训练。模块所有提供训练接口，语料可参考98年人民日报语料库。
在提供丰富功能的同时，HanLP内部模块坚持低耦合，模型坚持惰性加载，服务坚持静态提供，词典坚持明文发布，使用非常方便。默认模型训练自全世界最大规模的中文语料库，同时自带一些语料处理工具，帮助用户训练自己的模型。