Solr-DIH建立索引并执行简单初步的查询

时间:2021-12-20 16:45:01
我们将solr的安装目录设置为$SOLR_INSTALL,
 
./solr start,不使用任何原有的examples来进行,启动完成后,不存在任何的core,提示No cores available。
 
在手动执行Add Core操作时,需要保证instanceDir和dataDir事先必须存在,以便能够建立目录成功。
 

Solr-DIH建立索引并执行简单初步的查询
 
 
根据错误提示,目录应该建立在$SOLR_INSTALL/server/solr/下,且必须保证存在对应的配置文件;可以从example/conf目录下拷贝所有的配置文件至该目录下(solrconfig.xml,managed-schema等文件也必须存在)。
 
在solrconfig.xml配置文件中,增加requestHandler来处理数据导入相关:
 
<requestHandler name="/dataimport" class="solr.DataImportHandler">
    <lst name="defaults">
      <str name="config">db-data-config.xml</str>
    </lst>
  </requestHandler>
 
 
由于使用DIH需要依赖其他的jar包,所以需要定义lib标签,dataimporthandler的相关jar包在${SOLR_INSTALL}/dist下:
 
  
<lib dir="${solr.install.dir:../../../..}/dist/" regex="solr-dataimporthandler-.*\.jar" />  
 
 
需要定义db-data-config.xml配置文件,对应数据库相关的配置以及商品查询相关配置:
 
<dataConfig>  
  <dataSource type="JdbcDataSource"  
              driver="com.mysql.jdbc.Driver"  
              convertType="true"  
              url="jdbc:mysql://xxxx"  
              user="xxx"  
              password="xxx"/>  
  <document>  
    <entity name="gt_goods" query="select goods_id, goods_sn, goods_name,price, stock from gt_goods" >  
    </entity>  
  </document>  
</dataConfig>  
 
 
注意,我们使用到的mysql驱动需要在目录下存在:$SOLR_INSTALL/server/solr-webapp/webapp/WEB-INF/lib。
 
entity标签的配置需要与另外一个配置文件配合使用:schema.xml(新版本后名称已经改为managed-schema),在其中定义了field和fieldtype,根据我们前面的配置需要重新定义。
 
在schema.xml(managed-schema)中,需要将对应的unique-key等标签设置正确,否则系统启动时会进行校验并提示错误。
 
但是启动后,提示no dataimport-handler defined!
 


Solr-DIH建立索引并执行简单初步的查询
 
 
 
原来居然是配置文件没有保存成功,出现下面的界面后,说明/dataimport已经可用:
 

Solr-DIH建立索引并执行简单初步的查询
 
 
但是却没有索引成功,提示下面的相关信息:
 

Last Update: 20:41:08

Indexing completed. Added/Updated: 0 documents. Deleted 0 documents. (Duration: 12s)
Requests: 1  (0/s)Fetched: 54223  (4519/s)Skipped: 0,  Processed: 0  (0/s)
Started
 
没有增加任何documents,持续十二秒,根据fetched的size,拿到的数据库表记录条目数量与count(*)得到的结果一致,但是却没有加入任何的数据。
 
经过一通查找,将managed-schema中的<schema name="gt_goods" version="1.6”>需要与db-data-config.xml文件中的entity标签名称保持一致:    <entity name="gt_goods" query="select goods_id, goods_sn, goods_name,price, stock from gt_goods" >  。
 
执行后,仍然没有成功(说明不是前一步导致),最后发现将所有的dynamicField都已经被删除,加上一个就可以了:
 
<dynamicField name="*"  type="string"  indexed="true"  stored="true" />
 
 
分词策略
 
我们使用提供的query进行查询时,例如查询商品名称 goods_name:刺绣花边,查出的结果为472条,经过对查询结果的分析,可以看出与下面的查询非常类似,solr只是简单地对词语进行逐字分词查询。
 
select count(*) from gt_goods where goods_name like '%刺%' or goods_name like '%花%' or goods_name like '%边%' or goods_name like '%绣%';
 
 
这种分词对于查询来说非常原始,而且不准确。
 


Solr-DIH建立索引并执行简单初步的查询
 
 
 
mmseg4j
 
 
加入依赖,对于mmseg4j的支持,以及lucene-analysis的实现,便于以后加入到solr中。
 
<dependency>
            <groupId>com.chenlb.mmseg4j</groupId>
            <artifactId>mmseg4j-core</artifactId>
            <version>1.9.1</version>
        </dependency>

        <dependency>
            <groupId>com.chenlb.mmseg4j</groupId>
            <artifactId>mmseg4j-analysis</artifactId>
            <version>1.9.1</version>
        </dependency>
 
 
在mmseg4j-core-with-dic中(只有1.8.6版本)有example包,对应各种分词策略的示例,执行main()函数即可。此外,还包括/data/目录,用于存放mmseg4j用到的中文字典文件。
 
字典文件的加载是从Dictionary.getInstance()开始,public static Dictionary getInstance(),从默认目录加载词库文件,查找默认目录顺序:
  • 从系统属性mmseg.dic.path指定的目录中加载
  • 从classpath/data目录
  • 从user.dir/data目录
 
可以加载自定义分词的文件,加载words-xxx.dic作为扩展词库目录,我们可以根据需要在该目录下加上对应的词组。
 
我们在普通情况下,并不会将“阿玛尼”作为一个品牌,拆出来的词以每个单词划分:“阿 | 玛 | 尼”;而当我们在文件words-xxx.dic中加入该单词后,就可以正常地将该词分开。
 
在managed-schema中加入mmseg4j的这3种分析类型:
 
<fieldType name="text_mmseg4j_simple" class="solr.TextField" positionIncrementGap="100">
      <analyzer type="index">
        <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="simple" dicPath="/Users/xxx/develop/tools/solr-5.5.0/data"/>
      </analyzer>
    </fieldType>
    <fieldType name="text_mmseg4j_complex" class="solr.TextField" positionIncrementGap="100">
      <analyzer type="index">
        <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="complex" dicPath="/Users/xxx/develop/tools/solr-5.5.0/data"/>
      </analyzer>
    </fieldType>
    <fieldType name="text_mmseg4j_maxword" class="solr.TextField" positionIncrementGap="100">
      <analyzer type="index">
        <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="max-word" dicPath="/Users/xxx/develop/tools/solr-5.5.0/data"/>
      </analyzer>
    </fieldType>
 
 
并设置我们使用的goods_name为这种类型:
 
   <field name="goods_name" type="text_mmseg4j_complex" indexed="true" stored="true"/>
 
重启solr,显示该core已经无法正常加载出来:
 
xxx: org.apache.solr.common.SolrException:org.apache.solr.common.SolrException: Could not load conf for core zhentest: Can't load schema /Users/xxx/develop/tools/solr-5.5.0/server/solr/zhentest/conf/managed-schema: Plugin init failure for [schema.xml] fieldType "text_mmseg4j_simple": Plugin init failure for [schema.xml] analyzer/tokenizer: Error loading class 'com.chenlb.mmseg4j.solr.MMSegTokenizerFactory'
 
 
原因是我们依赖的jar包并没有加入到WEB-INF/lib中,此外还需要依赖:
 
<dependency>
            <groupId>com.chenlb.mmseg4j</groupId>
            <artifactId>mmseg4j-solr</artifactId>
            <version>1.9.1</version>
        </dependency>
 
 
作为mmseg4j和solr之间的桥梁,否则会出现com.chenlb.mmseg4j.solr.MMSegTokenizerFactory找不到的错误。
 
版本兼容也是一个大问题,最终的依赖关系为:
 
  • solr: 5.5.0
  • mmseg4j-solr: 2.3.0
  • mmseg4j-core: 1.10.0
 
终于成功查询出商品的结果:
 

Solr-DIH建立索引并执行简单初步的查询
 
 
因为之前索引用到的数据也没有经过合理地分词,所以在更改分词策略后,需要对所有的数据进行统一的/dataimport操作。在对所有的数据进行重新整理后,查询出来的记录条目数量就可以满足基本的需求,在对“刺绣花边”进行搜索时,就可以查询出最终的结果与下面的sql查询数量保持一致(因为words.dic中存在“刺绣”和“花边”两个词):
 
select count(*) from gt_goods where goods_name like '%刺绣%' or goods_name like '%花边%';