关于全文搜索引擎

我们一般浏览的网站都提供搜索功能。有些是搜索数据库，简单但是局限。有些是调用第三方搜索接口互联网搜索，功能强大。
不管怎么说，都是后台执行数据匹配的搜索。

目前来看，java全文搜索都是solr，elasticsearch 用得居多。网上传闻Redis-search也可以全文搜索。我大概百度了一下，其实Redis-search 还不成熟。
上个月玩了下solr和elasticsearch.现在总结一下心得。

首先，solr很强大，上手很快。基本上下载，启动。就可以用了。

elasticsearch 也差不多，只是elasticsearch 没有自带可视化的web管理程序。

solr 什么都可以索引，包括图片，office文档，pdf，xml，txt，json 无所不能。elasticsearch 看上去只接收json 数据。
性能上看，基本都很快。网上说elasticsearch 接近实时搜索，这个有待论证。

solr 有两种方式去建索引。一种是dataimport方式。这种方式只需要简单的配置manager-schema.xml 文件即可。

还有一种就是用solr-solrj jar包程序实现。

贴个代码

/**
 * 索引pdf,word,txt等文档方法
 * 
 * @param myFile
 *            -- 文件对象
 * @param fileName
 *            -- 文件名 *
 * @param fileType
 *            --文件类型
 * @param otherFields
 *            -- 记录字段Map对象
 * 
 * @throws IOException
 * @throws SolrServerException
 */
public void indexFiles(File myFile, String fileName, String fileType, String tableName, String uniqueKey,
String primaryKeyValue) throws IOException, SolrServerException {

ContentStreamUpdateRequest up = new ContentStreamUpdateRequest("/update/extract");
String contentType = "";
if (StringUtil.isEmpty(fileType)) {
int dotPosition = fileName.indexOf('.');
String tmpFileType = fileName.substring(dotPosition + 1);
contentType = "application/" + tmpFileType;
} else {
contentType = fileType;
}

up.addFile(myFile, contentType);

ModifiableSolrParams p = new ModifiableSolrParams();
p.add("literal.id", uniqueKey);
p.add("literal.doc_id", primaryKeyValue);
p.add("literal.doc_table_name", tableName);
p.add("literal.doc_type", "file");// 文档类型为文件
p.add("literal.doc_file_name", fileName);// 文档类型为文件
p.add("fmap.content", "doc_content");
p.add("extractFormat", "text");
p.add("captureAttr", "false");

solrClient = SolrClient.getInstance();

up.setParams(p);

up.setAction(AbstractUpdateRequest.ACTION.COMMIT, true, true);

solrClient.request(up);

}

　　另外，程序建索引也要定义需要索引的字段。比如：

定义字段类别，声明使用IKAnalyzer分词分析器（这是支持中文的，需要把对应的jar及配置文件包拷贝到Solr的发布目录）

程序查询的使用，需要指定查询字段

if (StringUtils.isEmpty(searchVO.getKeyWord())) {
            query.setQuery("*:*");
        } else {
            query.setQuery("my_content:" + searchVO.getKeyWord());
        }
if (StringUtils.isNoneEmpty(searchVO.getNodeCode())) {
            query.addFilterQuery("my_table_name:" + searchVO.getNodeCode());
        }

之前使用*xx*做模糊查询，实际全文搜索不需要。因为搜索引擎已经把大文本内容分词化了。如果是简单的搜索少量字符串信息。那么用索引字符串类型String即可。没必要用text.

而且用*xx*做模糊查询查String的字符串更好。但是String 字段有长度限制。这要注意下。

秒客网

关于全文搜索引擎

相关文章