Lucene4.10使用教程(九)：Tika

Tika可以用来提取office、PDF、HTML、txt等常用文件中得文本（在提取文本时，图片是无法提取的，会被丢弃），方便Lucene进行文本的生成索引和检索。

Tika的用法很简单，但是依赖包有些多，导入包后，使用方法如下：

package com.johnny.lucene05.lucene_plugin.tika;

import java.io.File;
import java.io.FileInputStream;
import java.io.InputStream;

import org.apache.commons.io.FilenameUtils;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.DoubleField;
import org.apache.lucene.document.Field;
import org.apache.lucene.document.Field.Store;
import org.apache.lucene.document.IntField;
import org.apache.lucene.document.LongField;
import org.apache.lucene.document.StringField;
import org.apache.lucene.document.TextField;
import org.apache.tika.Tika;
import org.apache.tika.metadata.Metadata;
import org.apache.tika.parser.AutoDetectParser;
import org.apache.tika.parser.ParseContext;
import org.apache.tika.parser.Parser;
import org.apache.tika.sax.BodyContentHandler;
import org.junit.Test;
import org.xml.sax.ContentHandler;

public class TikaTest {
    /**使用Tika解析文件，并将其中的文本提取出来
     *
     * 注意：图片是无法解析的
     * **/
    @Test
    public void fileToTxt() throws Exception {
        //使用AutoDetectParser可以使用Tika根据实际情况自动转换需要使用的parser,不需要再手工指定
        Parser tikaParser = new AutoDetectParser();
        File file = new File("/Users/ChinaMWorld/Desktop/WorkSpace/Johnny/lucene/lucene/src/main/java/resources/lucene05/SDK接口项目部署文档.docx");
        InputStream is = new FileInputStream(file);
        /*/
         * 参数的含义为：
         * inputStream：文件输入流
         * ContentHandler：所有解析出来的内容会放到它的子类BodyContentHandler中
         * Metadata ：Tika解析文档时会生成的一组说明数据
         * ParseContext:用来存储需要填入的参数,最少需要设置tikaParser本身
         * **/
        ContentHandler handler = new BodyContentHandler();
        
        Metadata metadata = new Metadata();
        /**设定文档名称，
         * 对于deprecate属性的内容表示无法通过在metadata中设置进行修改**/
        metadata.add(Metadata.RESOURCE_NAME_KEY, file.getName());//可以用来设定文档名称
        
        
        ParseContext parseContext = new ParseContext();
        parseContext.set(Parser.class, tikaParser);
        
        tikaParser.parse(is, handler, metadata, parseContext);
        System.out.println(handler.toString());
        System.out.println("---------------------------");
        for(String name :metadata.names()){
            System.out.println(name+"-->"+metadata.get(name));
        }
    }
    /**
     * 使用Tika的第二种方式进行解析，但是官方文档认为直接使用第二种方案效率不如上面一种效率高
     * 如果在tika.parse方法中不放置metadata，那么可以自己设定的所有metadata都会生效
     */
    @Test
    public void filetoTxt2() throws Exception{
        Tika tika = new Tika();
        File file = new File("/Users/ChinaMWorld/Desktop/WorkSpace/Johnny/lucene/lucene/src/main/java/resources/lucene05/SDK接口项目部署文档.docx");
        InputStream is = new FileInputStream(file);
        Metadata metadata =new Metadata();
        metadata.add(Metadata.AUTHOR,"abc");
        metadata.add(Metadata.RESOURCE_NAME_KEY, file.getName());
        for(String name :metadata.names()){
            System.out.println(name+"-->"+metadata.get(name));
        }
        String s = tika.parseToString(is,metadata);
        System.out.println("---------------------------");
        for(String name :metadata.names()){
            System.out.println(name+"-->"+metadata.get(name));
        }
        System.out.println("~~~~~~~~~~~~~~~~~~~~~~~~~~~~~");
        System.out.println(s);
    }
    /**
     * 使用Tika生成索引,并查询结果,
     * tika生成索引参见方法：Document com.johnny.lucene05.lucene_plugin.tika.FileIndexUtils.fileToDoc(File file) throws Exception
     */
    @Test
    public void testTikaToIndex(){
        FileIndexUtils.index(true);
        FileIndexUtils fu = new FileIndexUtils();
        fu.searchByTerm("content", "log4j".toLowerCase());
    }
}