【Apache Solr系列】使用IKAnalyzer中文分词以及自定义分词字典

时间:2022-07-26 05:57:55

之前写的Apache Solr只介绍了简单的搭建以及导入数据等功能,最近由于项目要求,添加索引分词和搜索分词功能;分词的项目有包括好几个:smartcn、ictclas4j、IK、jeasy、庖丁、mmseg4j;

以上几种分词器各有优缺点,根据不同场景可分可定制和不可定制两种:

一种是基于中科院ICTCLAS的隐式马尔科夫HMM算法的中文分词器,如smartcn,ictclas4j,优点是分词准确度高,缺点是不能使用用户自定义词库;

另一种是基于最大匹配的分词器,如IK ,Jeasy,庖丁,优点是可以自定义词库,增加新词,缺点是分出来的垃圾词较多。

文件下载

IKAnalyzer下载地址:https://ik-analyzer.googlecode.com/files/IK%20Analyzer%202012FF_hf1.zip

这里我使用的是IK Analyzer 2012FF_hf1.zip这个包;因为我用的是solr4.x的;

解压、文件拷贝

下载之后用unzip解压,没有安装unzip童鞋安装下;

解压之后讲IKAnalyzer的jar包拷贝到$SOLR_HOME的lib目录下;将IKAnalyzer.conf.xml和stopword.dic放到classes目录下,我这里的classes目录是

/data/projects/apprank-solr.zqgame.com/WEB-INF/classes
重点文件说明 

* IKAnalyzer.conf.xml主要的作用是用于自定义分词字典以及停止词字典的指定;

 * stopword.dic是默认自带的停止词,你可以添加自己的停止词到这个文件中;

配置

这里我们只讲IKAnalyzer的分词器配置。其实分词器的配置大同小异,IKAnalyzer具体配置如下;

<fieldType name="text" class="solr.TextField">   
       <analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/>   
</fieldType>  
或者是
<fieldType name="text_ik" class="solr.TextField"> 
       <analyzer type="index" isMaxWordLength="false" class="org.wltea.analyzer.lucene.IKAnalyzer"/> 
       <analyzer type="query" isMaxWordLength="true" class="org.wltea.analyzer.lucene.IKAnalyzer"/> 
</fieldType>
如果是其他的分词器;也是类似,将class修改为对应的分词处理器类就OK;

配置完fieldType之后,我们将要使用到分词器的field的type属性修改为我们新添加fieldType;

<field name="name" type="text_ik" indexed="true"/>
这样重启之后,分词器就生效了!来看下效果

【Apache Solr系列】使用IKAnalyzer中文分词以及自定义分词字典

之前原本想使用mmseg4j的,但是网上查了之后据说分词效果不是很好。所以就用IKAnalyzer,而且mmseg4j的配置比IK要复杂一点;

自定义分词字典

接下来讲下自定义分词字典,前面我们在重点文件说明中以及提到了IKAnalyzer.cfg.xml的作用;先来看下这个文件的内容

hadoop@nutch4:/data/projects/clusters/IKAnalyzer$ more IKAnalyzer.cfg.xml 
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">  
<properties>  
        <comment>IK Analyzer 扩展配置</comment>
        <!--用户可以在这里配置自己的扩展字典 
        <entry key="ext_dict">ext.dic;</entry> 
        -->
        <!--用户可以在这里配置自己的扩展停止词字典-->
        <entry key="ext_stopwords">stopword.dic;</entry> 

</properties>
配置一目了然,很简单;

我们在IKAnalyzer.cfg.xml的同级目录下添加一个ext.dic的文件,文件内添加自己的分词字典,重启就可以了!

注:这里要把上面的ext_dict项的注释去掉,要不然不会起作用的;

看下我们的自定义分词字典ext.dic

天天跑酷
天天爱消除
天天
这里比较简单,我只添加了三个自定义分词,那么来看下效果把!

【Apache Solr系列】使用IKAnalyzer中文分词以及自定义分词字典

大家可以看到效果还不错。呵呵!


转载请注明来源地址:http://blog.csdn.net/weijonathan/article/details/18354723