原文:Lucene.Net 2.3.1开发介绍 —— 二、分词（五）
2.1.3 二元分词
上一节通过变换查询表达式满足了需求，但是在实际应用中，如果那样查询，会出现另外一个问题，因为，那样搜索，是只要出现这个字，不管它出现在什么位置。这就产生了上一小节开头讲的，对准确性产生了极大干扰。比如，如果有一段这样的话：“这是一个英雄!他有无法用词汇形容的孤单，但是他并没有用言语来表达。”这句话包含了“英 语 单 词”这四个字，但是却和“英语单词”一点关系都没有。首先想到的解决方法，就是把句子按词来划分，那么就能有效的降低干扰。最简单的解决方法，莫过于每两个字组成一个部分。
下面来构造核心算法。首先我们期望，只有中文（广义上指双字节文字，比如日文，韩文也在这个范围。）是按照二元拆分，而符号则是单符号拆分，对于英文则保持原样。因此，需要一个判断当前字符类型的函数。首先，构造一个枚举，如代码2.1.3.1。
代码 2.1.3.1
Code/// <summary>/// Char类型枚举，用于分词中类型状态比较/// </summary>public enum CharType{ None, //默认值，不可识别类型 English, //拉丁字符，用英文标识 Chinese, //CJK字符，以中文代表 Number, //阿拉伯数字 Control //控制符号，指控制符号已经各种标点符号等}
接下来需要有一个函数能够识别字符，把字符类型转换成我们需要的CharType。
代码 2.1.3.2
Code 1/**//// <summary> 2/// 获取Char类型 3/// </summary> 4/// <param name="c">字符</param> 5/// <returns>返回类型</returns> 6public static CharType GetCharType(char c) 7{ 8 switch (char.GetUnicodeCategory(c)) 9 {10 //大小写字符判断为英文字符11 case System.Globalization.UnicodeCategory.UppercaseLetter:12 case System.Globalization.UnicodeCategory.LowercaseLetter:13 return CharType.English;14 //其它字符判断问中文(CJK)15 case System.Globalization.UnicodeCategory.OtherLetter:16 return CharType.Chinese;17 //十进制数字18 case System.Globalization.UnicodeCategory.DecimalDigitNumber:19 return CharType.Number;20 //其他都认为是符号21 default:22 return CharType.Control;23 }24}
代码2.1.3.2粗略完成了我们想要的功能。现在就可以构造我们想要的算法了。
代码 2.1.3.3
Code 1using System; 2using System.Collections.Generic; 3using System.Text; 4using Lucene.Net.Analysis; 5using System.IO; 6 7namespace Test.Analysis 8{ 9 public class DoubleTokenizer : Tokenizer 10 { 11 /**//// <summary> 12 /// 保持传入的流 13 /// </summary> 14 private TextReader reader; 15 /**//// <summary> 16 /// 控制分词器只打开一次 17 /// </summary> 18 private bool done = true; 19 /**//// <summary> 20 /// 保存分词结果 21 /// </summary> 22 private List<Token> tokenlist; 23 24 public DoubleTokenizer(TextReader reader) 25 { 26 this.reader = reader; 27 } 28 /**//// <summary> 29 /// 上一个字的类型 30 /// </summary> 31 private CharType lastype = CharType.None; 32 /**//// <summary> 33 /// 当前读取到分词的记录数 34 /// </summary> 35 private int ptr = 0; 36 /**//// <summary> 37 /// 重写Next方法 38 /// </summary> 39 /// <param name="result"></param> 40 /// <returns></returns> 41 public override Token Next(Token result) 42 { 43 if (done) //第一次可以运行，运行后将被设置为false,在一个实例中只会运行一次 44 { 45 done = false; 46 string text = reader.ReadToEnd(); 47 //输入为空，则返回结束符号 48 if (string.IsNullOrEmpty(text)) 49 return null; 50 //初始化分词结果 51 tokenlist = new List<Token>(); 52 //缓冲器，主要用于暂时保存英文数字字符。 53 StringBuilder buffer = new StringBuilder(); 54 Token token; 55 for (int i = 0; i < text.Length; i++) 56 { 57 char nowchar = text[i]; 58 char nextchar = new char(); 59 CharType nowtype = GetCharType(nowchar); 60 if (i < text.Length - 1) //取下一个字符 61 nextchar = text[i + 1]; 62 //状态转换 63 if (nowtype != lastype) 64 { 65 lastype = nowtype; 66 if (buffer.Length > 0) 67 { 68 token = new Token(buffer.ToString(), i - buffer.Length, i); 69 tokenlist.Add(token); 70 buffer.Remove(0, buffer.Length); 71 } 72 } 73 74 switch (nowtype) 75 { 76 case CharType.None: 77 case CharType.Control: 78 goto SingleChar; 79 case CharType.Chinese: 80 break; 81 case CharType.English: 82 case CharType.Number: 83 buffer.Append(nowchar); 84 continue; 85 } 86 //处理连续两个中文字符 87 if (GetCharType(nextchar) == CharType.Chinese) 88 { 89 token = new Token(nowchar.ToString() + nextchar.ToString(), i, i + 2); 90 tokenlist.Add(token); 91 i++; 92 continue; 93 } 94 95 SingleChar: //处理单个字符 96 token = new Token(nowchar.ToString(), i, i + 1); 97 tokenlist.Add(token); 98 continue; 99 }100 //返回第一个分词结果，并且把指针移向下一位101 return tokenlist[ptr++];102 }103 else104 {105 //在分词结果范围内取词106 if (ptr < tokenlist.Count)107 return tokenlist[ptr++];108 //超出则返回结束符号109 return null;110 }111 }112 /**//// <summary>113 /// 获取Char类型114 /// </summary>115 /// <param name="c">字符</param>116 /// <returns>返回类型</returns>117 public static CharType GetCharType(char c)118 {119 switch (char.GetUnicodeCategory(c))120 {121 //大小写字符判断为英文字符122 case System.Globalization.UnicodeCategory.UppercaseLetter:123 case System.Globalization.UnicodeCategory.LowercaseLetter:124 return CharType.English;125 //其它字符判断问中文(CJK)126 case System.Globalization.UnicodeCategory.OtherLetter:127 return CharType.Chinese;128 //十进制数字129 case System.Globalization.UnicodeCategory.DecimalDigitNumber:130 return CharType.Number;131 //其他都认为是符号132 default:133 return CharType.Control;134 }135 }136 }137 /**//// <summary>138 /// Char类型枚举，用于分词中类型状态比较139 /// </summary>140 public enum CharType141 {142 None, //默认值，不可识别类型143 English, //拉丁字符，用英文标识144 Chinese, //CJK字符，以中文代表145 Number, //阿拉伯数字146 Control //控制符号，指控制符号已经各种标点符号等147 }148149}
代码2.1.3.3就是构造完后的算法。意思就是把英文字母，数字按空格或者符号划分，而中文则二元拆分。现在来测试下效果。
代码 2.1.3.4
Code 1using System; 2using System.Collections.Generic; 3using System.Text; 4using NUnit.Framework; 5using System.IO; 6using Lucene.Net.Analysis; 7 8namespace Test.Analysis 9{10 [TestFixture]11 public class DoubleTokenizerTest12 {13 [Test]14 public void NextTest()15 {16 string testwords = "我是一个中国人，代码yurow001,真是个好名字啊!!!哈哈哈。。。";17 DoubleTokenizer tk = new DoubleTokenizer(new StringReader(testwords));18 Token token;19 while ((token = tk.Next()) != null)20 {21 Console.WriteLine(token.TermText() + "\t" + token.StartOffset() + "\t" + token.EndOffset());22 }23 tk.Close();24 }25 }26}27
代码 2.1.3.4 就是测试代码，测试的输入包含了各种字符。来看一下效果。
测试结果：
我是 0 2
一个 2 4
中国 4 6
人 6 7
， 7 8
代码 8 10
yurow 10 15
001 15 18
, 18 19
真是 19 21
个好 21 23
名字 23 25
啊 25 26
! 26 27
! 27 28
! 28 29
哈哈 29 31
哈 31 32
。 32 33
。 33 34
。 34 35
应该说结果符合我们的预期。下来写个Analyzer包装，并把这个包装应用到上一节2.1.2 的方案里去。
代码 2.1.3.5
Code 1using System; 2using System.Collections.Generic; 3using System.Text; 4using Lucene.Net.Analysis; 5 6namespace Test.Analysis 7{ 8 public class DoubleAnalyzer : Analyzer 9 {10 public override TokenStream TokenStream(string fieldName, System.IO.TextReader reader)11 {12 return new DoubleTokenizer(reader);13 }14 }15}16
代码2.1.3.5就是包装的结果。测试结果：
搜索词：英语
结果：
content:英语
-----------------------------------
搜索词：语法
结果：
content:语法
-----------------------------------
搜索词：单词
结果：
content:单词
-----------------------------------
搜索词：口语
结果：
content:口语
-----------------------------------
搜索词：+content:"英" +content:"语" +content:"单" +content:"词"
结果：
+content:英 +content:语 +content:单 +content:词
-----------------------------------
What's happened? 为什么没有结果？分词器写错了？不要灰心！让我们来分析一下。在DoubleTokenizer类构造函数下一个断点，调试。因为，如果能正确运行，这个构造函数肯定要进入的。调试后看到了什么？传入的TextReader的类型是Lucene.Net.Index.DocumentsWriter.ReusableStringReader。查看Lucene.Net.Index.DocumentsWriter.ReusableStringReader类的定义，它继承自StringReader类，但是它重写掉了一些方法，而且，我们并没有发现我们使用的ReadToEnd方法。问题可能出在这里。看到ReusableStringReader类重写的Read(char[],int,int)方法，试试这个。
代码 2.1.3.6
Code 1using System; 2using System.Collections.Generic; 3using System.Text; 4using Lucene.Net.Analysis; 5using System.IO; 6 7namespace Test.Analysis 8{ 9 public class DoubleTokenizer : Tokenizer 10 { 11 /**//// <summary> 12 /// 保持传入的流 13 /// </summary> 14 //private TextReader reader; 15 /**//// <summary> 16 /// 控制分词器只打开一次 17 /// </summary> 18 private bool done = true; 19 /**//// <summary> 20 /// 保存分词结果 21 /// </summary> 22 private List<Token> tokenlist; 23 24 public DoubleTokenizer(TextReader reader) 25 { 26 this.input = reader; 27 } 28 /**//// <summary> 29 /// 上一个字的类型 30 /// </summary> 31 private CharType lastype = CharType.None; 32 /**//// <summary> 33 /// 当前读取到分词的记录数 34 /// </summary> 35 private int ptr = 0; 36 /**//// <summary> 37 /// 重写Next方法 38 /// </summary> 39 /// <param name="result"></param> 40 /// <returns></returns> 41 public override Token Next(Token result) 42 { 43 if (done) //第一次可以运行，运行后将被设置为false,在一个实例中只会运行一次 44 { 45 done = false; 46 47 //------------------------------------------------------- 48 //使用传入参数作为缓冲区 49 char[] charbuffer = result.TermBuffer(); 50 int upto = 0; 51 result.Clear(); 52 while (true) 53 { 54 int length = input.Read(charbuffer, upto, charbuffer.Length - upto); 55 if (length <= 0) 56 break; 57 upto += length; 58 if (upto == charbuffer.Length) 59 charbuffer = result.ResizeTermBuffer(1 + charbuffer.Length); 60 } 61 result.SetTermLength(upto); 62 //------------------------------------------------------ 63 string text = result.TermText(); 64 //输入为空，则返回结束符号 65 if (string.IsNullOrEmpty(text)) 66 return null; 67 //初始化分词结果 68 tokenlist = new List<Token>(); 69 //缓冲器，主要用于暂时保存英文数字字符。 70 StringBuilder buffer = new StringBuilder(); 71 Token token; 72 for (int i = 0; i < text.Length; i++) 73 { 74 char nowchar = text[i]; 75 char nextchar = new char(); 76 CharType nowtype = GetCharType(nowchar); 77 if (i < text.Length - 1) //取下一个字符 78 nextchar = text[i + 1]; 79 //状态转换 80 if (nowtype != lastype) 81 { 82 lastype = nowtype; 83 if (buffer.Length > 0) 84 { 85 token = new Token(buffer.ToString(), i - buffer.Length, i); 86 tokenlist.Add(token); 87 buffer.Remove(0, buffer.Length); 88 } 89 } 90 91 switch (nowtype) 92 { 93 case CharType.None: 94 case CharType.Control: 95 goto SingleChar; 96 case CharType.Chinese: 97 break; 98 case CharType.English: 99 case CharType.Number:100 buffer.Append(nowchar);101 continue;102 }103 //处理连续两个中文字符104 if (GetCharType(nextchar) == CharType.Chinese)105 {106 token = new Token(nowchar.ToString() + nextchar.ToString(), i, i + 2);107 tokenlist.Add(token);108 i++;109 continue;110 }111112 SingleChar: //处理单个字符113 token = new Token(nowchar.ToString(), i, i + 1);114 tokenlist.Add(token);115 continue;116 }117 //返回第一个分词结果，并且把指针移向下一位118 return tokenlist[ptr++];119 }120 else121 {122 //在分词结果范围内取词123124 if (ptr < tokenlist.Count)125 {126 return tokenlist[ptr++];127 }128 //超出则返回结束符号129 return null;130 }131 }132 /**//// <summary>133 /// 获取Char类型134 /// </summary>135 /// <param name="c">字符</param>136 /// <returns>返回类型</returns>137 public static CharType GetCharType(char c)138 {139 switch (char.GetUnicodeCategory(c))140 {141 //大小写字符判断为英文字符142 case System.Globalization.UnicodeCategory.UppercaseLetter:143 case System.Globalization.UnicodeCategory.LowercaseLetter:144 return CharType.English;145 //其它字符判断问中文(CJK)146 case System.Globalization.UnicodeCategory.OtherLetter:147 return CharType.Chinese;148 //十进制数字149 case System.Globalization.UnicodeCategory.DecimalDigitNumber:150 return CharType.Number;151 //其他都认为是符号152 default:153 return CharType.Control;154 }155 }156 }157 /**//// <summary>158 /// Char类型枚举，用于分词中类型状态比较159 /// </summary>160 public enum CharType161 {162 None, //默认值，不可识别类型163 English, //拉丁字符，用英文标识164 Chinese, //CJK字符，以中文代表165 Number, //阿拉伯数字166 Control //控制符号，指控制符号已经各种标点符号等167 }168169}170
代码改造成了2.1.3.6。主要的改变在于用父类的input字段保持了读入流，然后用Token作为缓冲区，因为它实现了可变缓冲区，简化了我们的开发。测试结果。
搜索词：英语
结果：
content:英语
英语单词，语法，口语都很重要。
口语，语法，单词都是英语的重要组成部分。
-----------------------------------
搜索词：语法
结果：
content:语法
英语单词，语法，口语都很重要。
口语，语法，单词都是英语的重要组成部分。
-----------------------------------
搜索词：单词
结果：
content:单词
英语单词，语法，口语都很重要。
口语，语法，单词都是英语的重要组成部分。
我们要学好英语不但要学语法，单词还有口语。
-----------------------------------
搜索词：口语
结果：
content:口语
英语单词，语法，口语都很重要。
口语，语法，单词都是英语的重要组成部分。
我们要学好英语不但要学语法，单词还有口语。
-----------------------------------
搜索词：+content:"英" +content:"语" +content:"单" +content:"词"
结果：
+content:英 +content:语 +content:单 +content:词
-----------------------------------
终于OK了！！！呵呵。
（PS：长时间编写，可能内容太长了，造成我机器编写这个章节有点卡，所以，这里提前结束。）