[置顶] 基于垃圾短信与垃圾邮件的检测以及iphone中siri所使用的IKAnalyzer中文分词技术

      刚开始接触安卓开发，导师就让做了一个基于安卓的垃圾短信检测软件，其中中文分词让我搞了一天，我所使用的是IKAnalyzer中文分词技术，这个包已经很是成熟。因为新手在使用中可能会出现导入的工程包错误而没有办法使用的情况，所以我在csdn上上传了我所使用的架包，中文分词是与朴素贝叶斯算法一起使用的，我就用一个简单的java工程来给大家做一下示范，下边是我所使用的架包，下边是下载地址。

http://download.csdn.net/detail/u010370871/5719541

下边是java代码

import java.io.*;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.wltea.analyzer.core.IKSegmenter;
import org.wltea.analyzer.core.Lexeme;
import org.wltea.analyzer.lucene.IKAnalyzer;

public class IKAnalyzerTest 
{
public static String str="IK Analyzer是一个开源的，基于java语言" +
"开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始， " +
"IKAnalyzer已经推出了4个大版本。最初，它是以开源项目Luence为" +
"应用主体的，结合词典分词和文法分析算法的中文分词组件。从3.0版" +
"本开始，IK发展为面向Java的公用分词组件，独立于Lucene项目，同时" +
"提供了对Lucene的默认优化实现。";
public static void main(String args[]) throws IOException 
{

//基于Lucene实现
   Analyzer analyzer = new IKAnalyzer(true);//true智能切分
   StringReader reader = new StringReader(str);
   TokenStream ts = analyzer.tokenStream("", reader);
CharTermAttribute term = ts.getAttribute(CharTermAttribute.class);
while(ts.incrementToken()){
System.out.print(term.toString()+"|");
}
reader.close();
System.out.println();

//独立Lucene实现
StringReader re = new StringReader(str);
IKSegmenter ik = new IKSegmenter(re,true);
Lexeme lex = null;
while((lex=ik.next())!=null)
{
System.out.print(lex.getLexemeText()+"|");
}
}
}

IKAnalyzer所使用的两种方法，下边是分词结果

大家有问题可以留言~