搜索绝对不仅仅是搭起框架，跑出结果就完成的工作，之后分词、排序等等的优化才是重头戏。
先交代下背景：这个搜索是我一个人负责搭建并优化的项目，主要索引对象为歌曲、歌手MV等等。
使用技术：Lucene、IK_Analyzer
既然这篇博客是关于中文分词的优化，那么先看我现在的搜索有什么问题存在：
分词不准确
(1)如果搜索"没有你陪伴"时，排序在前面的歌曲为"陪伴"，而本应排第一的"没有你陪伴真的好孤单"这首歌却在后面几页（因为没有"没有你陪伴"这首歌）。
(2)再比如搜索"阿哥阿妹不分手"这首歌时，并不能搜出"阿哥阿妹不分离"这首歌。
(3)如果搜索"没有你陪伴真的好孤单"，那么包含"陪伴"、"没有"、"你"等词的歌曲都会被显示，导致显示结果过多（因为没有你陪伴真的好孤单本身就是一个歌名）。
现在最主要的问题就是这三类。那么就针对这三类开始优化吧：
关于分词的问题，因为使用的是Ik分词器，本身自带词库，但是对于我的搜索来说，绝大多数搜索是针对歌曲和歌手进行搜索，那么很自然的想到IK的扩展词库：ext.dic 可以简单的将所有歌曲和歌手添加进扩展词库，并且使用IK的最大细粒度进行切分，这样当用户搜索完整的歌曲名和歌手名时，可以得到最准确的分词。
这里需要注意，因为很多歌曲名带有字符和其它语言，比如上述提到的 《 和 日语英文夹杂的情况，如果不经处理直接将"母*剧《排球女将》插曲"插入扩展词，其实并没有什么卵用，为什么呢？ 因为基本没有用户会完整的在搜索框中输入" 母*剧《排球女将》插曲"，更多的用户在查找这首歌时，会输入"母亲"、"日剧插曲"、"排球女将"或"排球女将插曲"等等
注意到一个共同点，中国用户一般不会去搜索中文与符号夹杂、中文与英文夹杂（分情况，在搜美剧或英文歌时比较多），一般都是只搜中文。
那么很自然的想到去除歌曲名和歌手名中的特殊字符，只留下中文加入到扩展词中（等于是用英文或字符将标题分割成几个独立的词加入到扩展词库中）：
如："日剧《排球女将》插曲"就拆分成："日剧"、"排球女将"和"插曲"加入到扩展词库中。
代码如下：
public Set<String> extWordProcesse(String extWord) {
if(extWord == null)
return null;
char[] array = extWord.toCharArray();
Set<String> result = new HashSet<String>();
String subString;
Integer start = 0;
while(start < array.length) {
for(int i=start;i<array.length;i++) {
if(!String.valueOf(array[i]).matches("[\\u4E00-\\u9FA5]+")) {
if(start < i) {
subString = extWord.substring(start, i);
if(subString.length() != 1)
result.add(subString);
start = i + 1;
} else if(start == i) {
start++;
}
break;
} else {
if(i == array.length - 1) {
subString = extWord.substring(start, i + 1);
if(subString.length() != 1)
result.add(subString);
start = i + 1;
}
}
}
}
return result;
}
下面是添加扩展词前后分词的对比（使用最大粒度分词）：用"没有你孤单真的好孤独"作为例子
加入扩展词前：
0-2 : 没有 : CN_WORD 2-3 : 你 : CN_WORD 3-5 : 陪伴 : CN_WORD 5-7 : 真的 : CN_WORD 7-10 : 好孤单 : CN_WORD
加入扩展词后使用最大粒度分词：
0-10 : 没有你陪伴真的好孤单 : CN_WORD
那么如果用户输入搜索"没有你陪伴真的好孤单"时，因为有完全一致的歌曲名与关键词匹配，那么只需要返回完全匹配的记录，而像包括"没有"、"你"、"陪伴"等等的记录可以不显示，因为这个时候用户的搜索是目的性非常明确的。
这样通过添加歌曲名和歌手名到扩展词库中，可以解决分词问题下的(3)小点。
而分词问题下剩余的(1)(2)问题可以归为一类，有点类似搜索校正的感觉，(1)是前缀匹配，(2)是拼写纠错。
其实这两个问题都可以通过分词来解决：
先看下在加入扩展词后用最大粒度分词的结果：
0-7 : 阿哥阿妹不分手 : CN_WORD
0-3 : 没有你 : CN_WORD 3-5 : 陪伴 : CN_WORD
但是上面刚才提到了，加入扩展词后用最大粒度分词，"没有你陪伴真的好孤单"分词时将会作为一个整体，并不会分成"没有你"，"陪伴"。那么搜索"没有你陪伴时"并不会命中"没有你陪伴真的好孤单"，那么怎么办呢？
我们知道Lucene，索引和搜索时，都需要分词，索引时是分词后构建倒排索引，搜索时分词后进行空间向量的计算得分。
那么我们可以索引时不使用最大粒度，而使用最小粒度分词。
什么意思呢？ 先看实例：
"没有你陪伴真的好孤单"最小粒度分词的结果：
0-3 : 没有你 : CN_WORD 0-2 : 没有 : CN_WORD 1-5 : 有你陪伴 : CN_WORD 1-4 : 有你陪 : CN_WORD 1-3 : 有你 : CN_WORD 1-2 : 有 : CN_WORD 2-3 : 你 : CN_WORD 3-5 : 陪伴 : CN_WORD
这样是不是明白很多了？ 如果我们使用最小粒度分词的话，那么就可以解决(1)(2)问题了，但是这样又不能解决(3)问题了，因为如果索引和搜索时都使用最小粒度分词，那么搜索出来的结果会很多，影响用户体验和搜索速度。
所以(1)(2)和(3)是对立的，解决其中一个，另外一个变会出现，那怎么办呢？ 最简单的就是分情况处理。
我们可以看到，如果用户搜索的一个关键词key，如果完全匹配歌曲名或者歌手名时，搜索时应该使用最大粒度分词，以减少不想关的搜索结果，如果不完全匹配，那么需要使用最小粒度分词，用以匹配所有可能的结果。当然，索引永远是使用最小粒度分词。
那么我的做法是，将所有的歌曲名和歌手名经过上述代码处理后，加入到一个Set中，每次搜索时，对关键字在Set中查找，如果存在，那么说明时完全匹配歌曲或歌手的，使用最大粒度分词，如果不存在，那么不匹配。使用最小粒度匹配。
上述的最大粒度最小粒度，IK分词器已经提供了相关实现：
在IKAnalyzer的构造函数中有一个boolean参数，true为最大粒度，false为最小粒度：
new IKAnalyzer(false)