中文分词和搜索引擎

时间:2016-07-24 07:43:18
【文件属性】:

文件名称:中文分词和搜索引擎

文件大小:36KB

文件格式:DOC

更新时间:2016-07-24 07:43:18

中文分词

 众所周知,英文是以词为单位的,词和词之间是靠空格隔开,而中文是以字为单位,句子中所有的字连起来才能描述一个意思。例如,英文句子I am a student,用中文则为:“我是一个学生”。计算机可以很简单通过空格知道student是一个单词,但是不能很容易明白“学”、“生”两个字合起来才表示一个词。把中文的汉字序列切分成有意义的词,就是中文分词,有些人也称为切词。我是一个学生,分词的结果是:我 是 一个 学生。


网友评论