基于开源中文分词工具pkuseg-python，我用张小龙的3万字演讲做了测试
做过搜索的同学都知道，分词的好坏直接决定了搜索的质量，在英文中分词比中文要简单，因为英文是一个个单词通过空格来划分每个词的，而中文都一个个句子，单独一个汉字没有任何意义，必须联系前后文字才能正确表达它的意思。因此，中文分词技术一直是nlp领域中的一大挑战。Python 中有个比较著名的分词库是结巴分...
开源中文分词工具探析（七）：LTP
LTP是哈工大开源的一套中文语言处理系统，涵盖了基本功能：分词、词性标注、命名实体识别、依存句法分析、语义角色标注、语义依存分析等。【开源中文分词工具探析】系列：开源中文分词工具探析（一）：ICTCLAS (NLPIR)开源中文分词工具探析（二）：Jieba开源中文分词工具探析（三）：Ansj开源中...
我与solr(六)--solr6.0配置中文分词器IK Analyzer
转自：http://blog.csdn.net/linzhiqiang0316/article/details/51554217，表示感谢。由于前面没有设置分词器，以至于查询的结果出入比较大，并且无法进行正确的高亮显示。现在配置一下分词器来解决相关问题。solr6.0中进行中文分词器IK Analy...
solr 7+tomcat 8 + mysql实现solr 7基本使用(安装、集成中文分词器、定时同步数据库数据以及项目集成)
基本说明Solr是一个开源项目，基于Lucene的搜索服务器，一般用于高级的搜索功能；solr还支持各种插件(如中文分词器等)，便于做多样化功能的集成；提供页面操作，查看日志和配置信息，功能全面。solr 7 + tomcat 8实现solr 7的安装Solr自带集成jetty，但是一般都不直接使用...
Sphinx + Coreseek 实现中文分词搜索
Sphinx + Coreseek 实现中文分词搜索Sphinx Coreseek 实现中文分词搜索全文检索1 全文检索 vs 数据库2 中文检索 vs 汉化检索3 自建全文搜索与使用Google等第三方站点提供的站内全文搜索的差别SphinxCoreseek介绍Coreseek安装使用1....
中文分词工具探析（一）：ICTCLAS (NLPIR)
【开源中文分词工具探析】系列：开源中文分词工具探析（一）：ICTCLAS (NLPIR)开源中文分词工具探析（二）：Jieba开源中文分词工具探析（三）：Ansj开源中文分词工具探析（四）：THULAC开源中文分词工具探析（五）：FNLP开源中文分词工具探析（六）：Stanford CoreNLP开...
沉淀再出发：ElasticSearch的中文分词器ik
沉淀再出发：ElasticSearch的中文分词器ik一、前言 为什么要在elasticsearch中要使用ik这样的中文分词呢，那是因为es提供的分词是英文分词，对于中文的分词就做的非常不好了，因此我们需要一个中文分词器来用于搜索和使用。二、IK分词器的安装和使用 2.1、安装ik 我们可...
linux环境下安装sphinx中文支持分词搜索(coreseek+mmseg)
linux环境下安装sphinx中文支持分词搜索(coreseek+mmseg) 2013-11-10 16:51:14分类： 系统运维为什么要写这篇文章？答：通过常规的三大步（./configure,make,make install）的编译安装mmseg时，总是出现找不到src/Makefil...
转:solr6.0配置中文分词器IK Analyzer
solr6.0中进行中文分词器IK Analyzer的配置和solr低版本中最大不同点在于IK Analyzer中jar包的引用。一般的IK分词jar包都是不能用的，因为IK分词中传统的jar不支持solr6.0这个高版本的，所以就会发送运行错误的界面。下面就来介绍一下solr6.0中中文分词器IK...
docker环境下solr6.0配置（中文分词+拼音）
前言：这篇文章是基于之前的“linux环境下配置solr5.3详细步骤”（http://www.cnblogs.com/zhangyuan0532/p/4826740.html）进行扩展的。本篇的步骤是后来记录的，所以没有细节的命令代码，也没有截图，谅解。原先是solr5.3部署在linux环境下，...
.net 的一个分词系统（jieba中文分词的.NET版本：jieba.NET）
简介平时经常用Python写些小程序。在做文本分析相关的事情时免不了进行中文分词，于是就遇到了用Python实现的结巴中文分词。jieba使用起来非常简单，同时分词的结果也令人印象深刻，有兴趣的可以到它的在线演示站点体验下（注意第三行文字）。.NET平台上常见的分词组件是盘古分词，但是已经好久没有更...
开源中文分词工具探析（五）：Stanford CoreNLP
CoreNLP是由斯坦福大学开源的一套Java NLP工具，提供诸如：词性标注（part-of-speech (POS) tagger）、命名实体识别（named entity recognizer (NER)）、情感分析（sentiment analysis）等功能。【开源中文分词工具探析】系列：...
ES-Mac OS环境搭建-ik中文分词器
下载从github下载ik中文分词器，点击地址，需要注意的是，ik分词器和elasticsearch版本必须一致。安装下载到本地并解压到elasticsearch中的plugins目录内即可。测试测试，进入kibana中的Dev Tools中，在Console中输入：ps：ik插件的生效需要重启el...
中文分词 coreseek安装笔记
#!/bin/bash# create by lhb# date 2013-11-26# coreseek install scriptapt-get install make gcc g++ automake libtool mysql-client libmysqlclient15-dev li...
Sphinx中文指南（二）——Sphinx中文分词coreseek篇
阅读本文前，请先查看前篇——Sphinx中文入门指南 目前，实现Sphinx中文的分词的方法据我所知有3种： 1、Coreseek 2、Sphinx-for-chinese 3、在客户端先分词，然后使用Sphinx字索引（查看安装原文）直接对输入词进行检索 Coreseek安装 在上篇中我们介绍了安...
solrcloud配置中文分词器ik
无论是solr还是luncene,都对中文分词不太好，所以我们一般索引中文的话需要使用ik中文分词器。三台机器（192.168.1.236，192.168.1.237，192.168.1.238）已经安装好了solrcloud我安装的是solr5.5使用的是ik是IKAnalyzer2012FF_u...
Solr7.2.1环境搭建和配置ik中文分词器
solr7.2.1环境搭建和配置ik中文分词器安装环境：Jdk 1.8、 windows 10安装包准备：solr 各种版本集合下载：http://archive.apache.org/dist/lucene/solr/tomcat下载（apache-tomcat-8.5.27-windows-x6...
coreseek增加自定义中文分词
由于公司的项目采用的是繁体字、导致简体分词会有问题，于是百度了一下添加字典的方法，照着做确实可以，而且也不难。 下面是方法： 使用词典的构造mmseg -u unigram.txt该命令执行后，将会在unigram.txt所在目录中产生一个名为unigram.txt.uni的文件， 将该文件改名为u...
Elasticsearch 安装中文分词
github地址：https://github.com/medcl/elasticsearch-analysis-ik注意版本要对应，否则编译完成后elasticsearch不能正常启动下载文件，解压到E:\soft\elk\elasticsearch-analysis-ik-master目录下打开...
中文分词工具thulac4j正式发布
1. 介绍thulac4j是THULAC的Java 8工程化实现，具有分词速度快、准、强的特点；支持自定义词典繁体转简体停用词过滤若想在项目中使用thulac4j，可添加依赖：<dependency> <groupId>io.github.yizhiru</group...