Classifier4J的中文支持

时间：2022-09-02 10:50:33

Classifier4J是一个轻量级的分类工具，支持贝叶斯分类、向量空间模型、信息摘要等。然而它却不支持中文，异常信息大致如下：

Exception in thread "main" java.util.NoSuchElementException

	at java.util.HashMap$HashIterator.nextEntry(HashMap.java:813)

	at java.util.HashMap$ValueIterator.next(HashMap.java:839)

	at java.util.Collections.max(Collections.java:657)

主要原因在于Classifier4J自带的DefaultTokenizer使用正则表达式“\W”进行分词，这种方式对英文还好，因为英文有着天然的分隔符，然而对中文则是不适用的。因而我们需要自己实现Classifier4J对中文的支持，分词工具选用庖丁分词。在包 net.sf.classifier4J中加入以下类：

package net.sf.classifier4J;

import java.io.IOException;

import java.io.StringReader;

import java.util.Vector;

import org.apache.lucene.analysis.Analyzer;

import org.apache.lucene.analysis.TokenStream;

import org.apache.lucene.analysis.tokenattributes.TermAttribute;

import net.paoding.analysis.analyzer.PaodingAnalyzer;

/**

 * @author hongyu

 */

public class PaodingTokenizer implements ITokenizer {

	private Analyzer paoding;

	public PaodingTokenizer() {

		paoding = new PaodingAnalyzer();

	}

	@Override

	public String[] tokenize(String input) {

		if(input != null) {

			StringReader inputReader = new StringReader(input);

			TokenStream ts = paoding.tokenStream("", inputReader);

			TermAttribute termAtt = (TermAttribute)ts.getAttribute(TermAttribute.class);

			Vector<String> tokens = new Vector<String>();

			try {

				while(ts.incrementToken()) {

					tokens.add(termAtt.term());

				}

				return tokens.toArray(new String[0]);

			} catch (IOException e) {

				return new String[0];

			}

		} else {

			return new String[0];

		}

	}

}

net.sf.classifier4J.Utilities的第二个构造方法修改如下：

    public static Map getWordFrequency(String input, boolean caseSensitive) {

        //return getWordFrequency(input, caseSensitive, new DefaultTokenizer(), new DefaultStopWordsProvider());

    	return getWordFrequency(input, caseSensitive, new PaodingTokenizer(), new DefaultStopWordsProvider());

    }

net.sf.classifier4J.vector.VectorClassifier中第一个构造方法第一行做如下修改：

        //tokenizer = new DefaultTokenizer();

    	tokenizer = new PaodingTokenizer();

另外还有一些其他小的bug：

1，为了能够正确处理查询字符串出现在首部的情况，SimpleClassifier最后一个方法修改如下：

    public double classify(String input) {

        if ((input != null) && (input.indexOf(searchWord) >= 0)) {

            return 1;

        } else {

            return 0;

        }

    }

2，为了能够正确的对中文信息提取摘要，Utilities的getSentences方法修改如下：

    public static String[] getSentences(String input) {

        if (input == null) {

            return new String[0];

        } else {

            // split on a ".", a "!", a "?" followed by a space or EOL

            //return input.split("(\\.|!|\\?)+(\\s|\\z)");

            return input.split("(\\。|\\.|!|\\?)+(\\s|\\z)?");

        }

    }

3，中文句子一般以句号结尾，因而SimpleSummariser中第122行修改为：

result.append("。");

以下是几个简单的测试类：

1，基本分类器：

public class BasicUsage {

	public static void main(String args[]) throws Exception {

		SimpleClassifier classifier = new SimpleClassifier();

		classifier.setSearchWord("中华");

		String sentence = "*";

		System.out.println("The string '" + sentence +

				"' contains the word '中华': " + classifier.isMatch(sentence));

		System.out.println("The match rate is: " + classifier.classify(sentence));

	}

}

运行结果：

The string '*' contains the word '中华': true

The match rate is: 1.0

2，贝叶斯分类器：

public class Bayesian {

	public static void main(String args[]) throws Exception {

		IWordsDataSource wds = new SimpleWordsDataSource();

		IClassifier classifier = new BayesianClassifier(wds);

		System.out.println( "Matches = " + classifier.classify("*") );

	}

}

运行结果：

Matches = 0.5

3，信息摘要：

public class Summariser {

	public static void main(String args[]) {

		String input = "*简称中国，位于欧亚大陆东部，太平洋西岸。中国具有五千年的文明史，是世界四大文明古国之一。";

		ISummariser summariser = new SimpleSummariser();

		String result = summariser.summarise(input, 1);

		System.out.println(result);

	}

}

运行结果：

*简称中国，位于欧亚大陆东部，太平洋西岸。

4，向量空间模型：

public class Vector {

	public static void main(String args[]) throws Exception {

		TermVectorStorage storage = new HashMapTermVectorStorage();

		VectorClassifier vc = new VectorClassifier(storage);

		vc.teachMatch("草本","含羞草");

		double result = vc.classify("草本", "含羞草");

		System.out.println(result);

	}

}

运行结果：

0.9999999999999998

最后，Classifier4J只定义了英文中的停用词，对于中文而言，庖丁分词的词典中已经包含了停用词。

相关文章