Solr系列三:solr索引详解(Schema介绍、字段定义详解、Schema API 介绍)

时间:2022-02-05 04:20:55

一、Schema介绍

1. Schema 是什么?

Schema:模式,是集合/内核中字段的定义,让solr知道集合/内核包含哪些字段、字段的数据类型、字段该索引存储。

2. Schema 的定义方式

Solr中提供了两种方式来配置schema,两者只能选其一

2.1 默认方式,通过Schema API 来实时配置,模式信息存储在内核目录的conf/managed-schema文件中。

2.2 传统的手工编辑conf/schema.xml的方式,编辑完后需重载集合/内核才会生效。

3. schema两种配置方式切换

3.1 schema.xml 到 managed schema

只需将 solrconfig.xml中的<schemaFactory class =“ClassicIndexSchemaFactory”/> 去掉,或改为ManagedIndexSchemaFactory

Solr重启时,它发现存储schema.xml 但不存储在 managed-schema,它会备份schema.xml,然后改写schema.xml 为 managed-schema。此后就可以通过Schema API 管理schema了。

3.2 managed schema 到 schema.xml

1 将managed-schema 重命名为 schema.xml

2 将solrconfig.xml 中schemaFactory 的ManagedIndexSchemaFactory去掉(如果存在)

3 增加<schemaFactory class =“ClassicIndexSchemaFactory”/>

Solr系列三:solr索引详解(Schema介绍、字段定义详解、Schema API 介绍)

4. 查看 D:\solr-7.3.0\server\solr\mycore\conf\managed-schema文件,了解它的构成

Solr系列三:solr索引详解(Schema介绍、字段定义详解、Schema API 介绍)

二、字段定义详解

1. 字段定义示例

<field name="name" type="text_general" indexed="true" stored="true"/>
<field name="includes" type="text_general" indexed="true" stored="true" termVectors="true" termPositions="true" termOffsets="true" />

字段属性说明

name:字段名,必需。字段名可以由字母、数字、下划线构成,不能以数字开头。以下划线开头和结尾的名字为保留字段名,如 _version_

type:字段的fieldType名,必需。为 FieldType定义的name 属性值。

default:默认值,如果提交的文档中没有该字段的值,则自动会为文档添加这个默认值。非必需。

2. 字段定义详解-定义FieldType

(前面定义了字段field,这里我们就有定义字段类型fieldtype来给字段使用了)

字段类型,定义在索引时该如何分词、索引、存储字段,在查询时该如何对查询串分词

<fieldType name="managed_en" class="solr.TextField" positionIncrementGap="100">
<analyzer type="index">
<tokenizer class="solr.StandardTokenizerFactory"/>
<filter class="solr.ManagedStopFilterFactory" managed="english" />
<filter class="solr.ManagedSynonymGraphFilterFactory" managed="english" />
<filter class="solr.FlattenGraphFilterFactory"/>
</analyzer>
<analyzer type="query">
<tokenizer class="solr.StandardTokenizerFactory"/>
<filter class="solr.ManagedStopFilterFactory" managed="english" />
<filter class="solr.ManagedSynonymGraphFilterFactory" managed="english" />
</analyzer>
</fieldType>

FieldType 的属性

Solr系列三:solr索引详解(Schema介绍、字段定义详解、Schema API 介绍)

Solr中提供的 FieldType 类,在 org.apache.solr.schema 包下

http://lucene.apache.org/solr/guide/7_3/field-types-included-with-solr.html

3. FieldType 的 Analyzer

对于 solr.TextField or solr.SortableTextField 字段类型,需要为其定义分析器。

<fieldType name="nametext" class="solr.TextField">
<analyzer class="org.apache.lucene.analysis.core.WhitespaceAnalyzer"/>
</fieldType>

可以直接通过class属性指定分析器类,必须继承org.apache.lucene.analysis.Analyzer 。

也可灵活地组合分词器、过滤器:

<fieldType name="nametext" class="solr.TextField">
<analyzer>
<tokenizer class="solr.StandardTokenizerFactory"/>
<filter class="solr.StandardFilterFactory"/>
<filter class="solr.LowerCaseFilterFactory"/>
<filter class="solr.StopFilterFactory"/>
</analyzer>
</fieldType>

注意:org.apache.solr.analysis 包下的类可以简写为 solr.xxx

如果该类型字段索引、查询时需要使用不同的分析器,则需区分配置analyzer

<fieldType name="nametext" class="solr.TextField">
<analyzer type="index">
<tokenizer class="solr.StandardTokenizerFactory"/>
<filter class="solr.LowerCaseFilterFactory"/>
<filter class="solr.KeepWordFilterFactory" words="keepwords.txt"/>
<filter class="solr.SynonymFilterFactory" synonyms="syns.txt"/>
</analyzer>
<analyzer type="query">
<tokenizer class="solr.StandardTokenizerFactory"/>
<filter class="solr.LowerCaseFilterFactory"/>
</analyzer>
</fieldType>

Solr中提供的tokenizer: http://lucene.apache.org/solr/guide/7_3/tokenizers.html

Solr中提供的 fiter: http://lucene.apache.org/solr/guide/7_3/filter-descriptions.html

4. 常用的Filter

4.1 Stop Filter 停用词过滤器

<analyzer>
<tokenizer class="solr.StandardTokenizerFactory"/>
<filter class="solr.StopFilterFactory" words="stopwords.txt"/>
</analyzer>

words属性指定停用词文件的绝对路径或相对 conf/目录的相对路径

停用词定义语法:一行一个

4.2 Synonym Graph Filter   同义词过滤器

<analyzer type="index">
<tokenizer class="solr.StandardTokenizerFactory"/>
<filter class="solr.SynonymGraphFilterFactory" synonyms="mysynonyms.txt"/>
<filter class="solr.FlattenGraphFilterFactory"/> <!-- required on index analyzers after graph filters -->
</analyzer>
<analyzer type="query">
<tokenizer class="solr.StandardTokenizerFactory"/>
<filter class="solr.SynonymGraphFilterFactory" synonyms="mysynonyms.txt"/>
</analyzer>

同义词定义语法:

(1)一类一行:

couch,sofa,divan

(2)=>表示标准化为后面的:

teh => the

huge,ginormous,humungous => large

small => tiny,teeny,weeny

提问:(1)(2)同义词的定义在索引的时候处理和查询的时候处理哪种效率更高?

    答:一类一行的在查询的时候进行处理效率更高,原因是如果在索引的时候处理话要存储的字段更多,并且在查询的时候可扩展性更高,如果有新词出现直接在同义词文件里面增加新词,然后重载即可。

      标准化的方式在索引的时候处理的性能更高,原因是存储的字段更少

练习1:自定义字段过滤停用词和同义词

步骤1:

在D:\solr-7.3.0\server\solr\mycore\conf目录下的停用词stopwords.txt和同义词synonyms.txt的txt文件里面分别加入

停用词:

hello

like

同义词:

couch,sofa,divan

teh => the

huge,ginormous,humungous => large

small => tiny,teeny,weeny

Solr系列三:solr索引详解(Schema介绍、字段定义详解、Schema API 介绍)

步骤2:

在D:\solr-7.3.0\server\solr\mycore\conf目录下的模式文件managed-schema里面自定义一个字段来进行分词索引并配置停用词和同义词

<!--自定义字段过滤停用词和同义词 begin-->
<fieldType name="myTestField" class="solr.SortableTextField" positionIncrementGap="100" multiValued="true">
<analyzer type="index">
<tokenizer class="solr.StandardTokenizerFactory"/>
<filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" />
<filter class="solr.LowerCaseFilterFactory"/>
</analyzer>
<analyzer type="query">
<tokenizer class="solr.StandardTokenizerFactory"/>
<filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" />
<filter class="solr.SynonymGraphFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
<filter class="solr.LowerCaseFilterFactory"/>
</analyzer>
</fieldType>
<!--自定义字段过滤停用词和同义词 end-->

步骤3:

重启solr,在web控制台就可以进行测试查看效果了

Solr系列三:solr索引详解(Schema介绍、字段定义详解、Schema API 介绍)

练习2:在solr里面集成IKAnalyzer 中文分词器

步骤1:

在原来学习lucene集成IKAnalyzer的基础上,为IkAnalyzer实现一个TokenizerFactory(继承它),接收useSmart参数。

步骤2:

将这三个类打成jar,如 IKAnalyzer-lucene7.3.jar

步骤3:

将这个IKAnalyzer-lucene7.3.jar和 IKAnalyzer的jar 拷贝到web应用的lib目录下

Solr系列三:solr索引详解(Schema介绍、字段定义详解、Schema API 介绍)

步骤4:

将停用词和扩展词的三个配置文件拷贝到应用的classes目录下

Solr系列三:solr索引详解(Schema介绍、字段定义详解、Schema API 介绍)

步骤5:

在schema中定义一个FieldType,使用IKAnalyzer适配类

<!--集成IK中文分词器 里面有停用词和扩展词 begin-->
<fieldType name="ik_zh_CN" class="solr.TextField">
<analyzer>
<tokenizer class="com.study.lucene.demo.analizer.ik.IKTokenizer4Lucene7Factory" useSmart="true" />
</analyzer>
</fieldType>
<!--集成IK中文分词器 里面有停用词和扩展词 end-->

步骤6.:

重启solr,在web控制台就可以进行测试查看效果了

Solr系列三:solr索引详解(Schema介绍、字段定义详解、Schema API 介绍)

5. 时间字段类型

5.1 Solr中提供的时间字段类型( DatePointField-单个日期, DateRangeField-日期范围,废除的TrieDateField )是以时间毫秒数来存储时间的。要求字段值以ISO-8601标准格式来表示时间:

YYYY-MM-DDThh:mm:ssZ       

示例:

1999-05-20T17:33:18Z

Z表示是UTC时间(注意:就没有时区了)

秒上可以带小数来表示毫秒,超出精度(3位小数)部分会被忽略:

1972-05-20T17:33:18.772Z

1972-05-20T17:33:18.77Z

1972-05-20T17:33:18.7Z

公元前:在前面加减号 -

9999后,在前面加加号 +

注意:查询时如果是直接的时间串,需要用转移符转义

datefield:1972-05-20T17\:33\:18.772Z

datefield:"1972-05-20T17:33:18.772Z"

datefield:[1972-05-20T17:33:18.772Z TO *]

5.2  DateRangeField 时间段类型特别说明

DateRangeField用来支持对时间段数据的索引,它遵守时间格式:YYYY-MM-DDThh:mm:ssZ,支持两种时间段表示方式:

方式一:截断日期,它表示整个日期跨度的精确指示。

2000-11 表示2000年11月整个月.

2000-11T13 表示2000年11月每天的13点这一个小时

-0009 公元前10年,0000是公元前1年。

方式二:范围语法 [ TO ]   { TO }

[2000-11-01 TO 2014-12-01] 日到日

[2014 TO 2014-12-01] 2014年开始到2014-12-01止.

[* TO 2014-12-01] 2014-12-01(含)前.

5.3 时间数学表达式

Solr中还支持用 NOW +- 时间的数学表达式来灵活表示时间。语法 NOW +- 带单位的时间数,/单位 截断。可用来表示时间段。

NOW+2MONTHS:现在的时间加上2个月

NOW-1DAY:现在的时间减去1天

NOW/HOUR:当前时间取整到小时

NOW+6MONTHS+3DAYS/DAY:当前时间+6个月+3天,然后取整到天

1972-05-20T17:33:18.772Z+6MONTHS+3DAYS/DAY

注意:运算顺序是从左往右,只有加减取整运算,没有乘除运算

NOW在查询中使用时,可为NOW指定值:

q=solr&fq=start_date:[* TO NOW]&NOW=1384387200000

没有&后面的赋值NOW就是当前时间

6. EnumFieldType 枚举字段类别说明

EnumFieldType  用于字段值是一个枚举集,且排序顺序可预定的情况,如新闻分类这样的字段。定义非常简单:

<fieldType name="priorityLevel" class="solr.EnumFieldType" docValues="true" enumsConfig="enumsConfig.xml" enumName="priority"/>

说明:

enumsConfig:指定枚举值的配置文件,绝对路径或相对内核conf/的相对路径

enumName:指定配置文件的枚举名。排序顺序是按配置的顺序。

docValues : 枚举类型字段必须设置 true;

枚举配置示例:

<?xml version="1.0" ?>
<enumsConfig>
<enum name="priority">
<value>Not Available</value>
<value>Low</value>
<value>Medium</value>
<value>High</value>
<value>Urgent</value>
</enum>
<enum name="risk">
<value>Unknown</value>
<value>Very Low</value>
<value>Low</value>
<value>Medium</value>
<value>High</value>
<value>Critical</value>
</enum>
</enumsConfig>

7. dynamic Field  动态字段

问:如果模式中有近百个字段需要定义,其中有很多字段的定义是相同,重复地定义是不是很烦?

可不可以定一个规则,字段名以某前缀开头或结尾的是相同的定义配置,那这些重复字段就只需要配置一个,保证提交的字段名称遵守这个前缀、后缀即可。 这就是动态字段

如:整型字段都是一样的定义,则可以定义一个动态字段如下:

<dynamicField name="*_i" type=“my_int" indexed="true" stored="true"/>

也可以是前缀,如    name=“i_*”

8. CopyField    复制字段

复制字段允许将一个或多个字段的值填充到一个字段中。它的用途有两种:

1、将多个字段内容填充到一个字段,来进行搜索。如用户输入了多个搜索字段,程序就把这些字段放入一个字段里面进行搜索

2、对同一个字段内容进行不同的分词过滤,创建一个新的可搜索字段

定义方式:

1、先定义一个普通字段

<field name="cc_all" type="zh_CN_text" indexed="true" stored="false" multiValued="false" />

2、定义复制字段

<copyField source="cat" dest="cc_all"/>
<copyField source="name" dest="cc_all"/>

把cat和name这两个字段都复制到cc_all这个字段里面

问:复制字段时,source可以是动态字段吗?

  答:可以

8. uniqueKey 唯一键

指定用作唯一键的字段,非必需。

<uniqueKey>id</uniqueKey>

唯一键字段不可以是保留字段、复制字段,且不能分词。

注意:唯一键是业务的唯一字段,不是document的id

9. Similarity 相关性计算类配置

问:什么是相关性计算?

  答:相关性计算指的是根据某个字段进行搜索时,把与搜索最匹配的排在前面

如果默认的相关性计算模型BM25Similarity不满足你应用的特殊需要,你可在schema中指定全局的或字段类型局部的相关性计算类

示例:

<similarity class="solr.SchemaSimilarityFactory">
<str name="defaultSimFromFieldType">text_dfr</str>
</similarity>
<fieldType name="text_dfr" class="solr.TextField">
<analyzer ... />
<similarity class="solr.DFRSimilarityFactory">
<str name="basicModel">I(F)</str>
<str name="afterEffect">B</str>
<str name="normalization">H3</str>
<float name="mu">900</float>
</similarity>
</fieldType>

10. 小结:字段定义详解

Solr系列三:solr索引详解(Schema介绍、字段定义详解、Schema API 介绍)

三、Schema API 介绍

前面我们都是采用自己在schema模式配置文件里面自己编写配置文件的方式来定义模式,其实我们还可以使用schema API的方式来动态的定义模式,不用自己手工编写配置文件,这样更加方便

Solr系列三:solr索引详解(Schema介绍、字段定义详解、Schema API 介绍)

1、Schema操作API总体介绍

Solr中强烈推荐使用Schema API来管理集合/内核的模式信息,可以读、写模式信息。通过API来更新模式信息,solr将自动重载内核。但是请注意:模式修改并不会自动重索引已索引的文档,只会对后续的文档起作用,如果必要,你需要手动重索引(删除原来的,重新提交文档)

1.1 更新Schema:

发送 post请求到 /collection/schema  ,以JSON格式提交数据,在json中说明你要进行的更新操作及对应的数据(一次请求可进行多个操作)

1.2 更新操作定义

add-field: 添加一个新字段.
delete-field: 删除一个字段.
replace-field: 替换一个字段,修改.
add-dynamic-field: 添加一个新动态字段.
delete-dynamic-field: 删除一个动态字段
replace-dynamic-field: 替换一个已存在的动态字段
add-field-type: 添加一个fieldType.
delete-field-type: 删除一个fieldType.
replace-field-type: 更新一个存在的fieldType
add-copy-field: 添加一个复制字段规则.
delete-copy-field: 删除一个复制字段规则.

2、V1、V2两个版本API说明

V1老版本的api,V2新版本的API,当前两个版本的API都支持,将来会统一到新版本。两个版本的API只是请求地址上的区别,参数没区别。

V1: http://localhost:8983/solr/mycore/schema

V2: http://localhost:8983/api/cores/mycore/schema

说明:

mycore:solr里面定义的内核或者集合的名称

3、FieldType字段类别操作

3.1  添加一个字段类别 add-field-type

使用postman来发送添加的请求:

请求地址:http://localhost:8983/solr/mycore/schema

请求方式:post

设置头信息为:Content-type:application/json

Solr系列三:solr索引详解(Schema介绍、字段定义详解、Schema API 介绍)

参数:json格式的参数

{
"add-field-type": {
"name": "myNewTxtField",
"class": "solr.TextField",
"positionIncrementGap": "100",
"analyzer": {
"tokenizer": {
"class": "solr.WhitespaceTokenizerFactory"
},
"filters": [
{
"class": "solr.WordDelimiterFilterFactory",
"preserveOriginal": "0"
}
]
}
}
}

postman模拟请求:

Solr系列三:solr索引详解(Schema介绍、字段定义详解、Schema API 介绍)

在solr的web控制台查看添加的字段

Solr系列三:solr索引详解(Schema介绍、字段定义详解、Schema API 介绍)

添加字段时包含索引分析器和查询分析器:

{
"add-field-type": {
"name": "myNewTextField",
"class": "solr.TextField",
"indexAnalyzer": {
"tokenizer": {
"class": "solr.PathHierarchyTokenizerFactory",
"delimiter": "/"
}
},
"queryAnalyzer": {
"tokenizer": {
"class": "solr.KeywordTokenizerFactory"
}
}
}
}

 3.2 删除一个字段类别 delete-field-type

请求地址:http://localhost:8983/api/cores/mycore/schema

请求方式:post

设置头信息为:Content-type:application/json

参数:json格式的参数

{
"delete-field-type": {
"name": "myNewTxtField"
}
}

3.3 替换一个字段类别 replace-field-type

请求地址:http://localhost:8983/api/cores/mycore/schema

请求方式:post

设置头信息为:Content-type:application/json

参数:json格式的参数

{
"replace-field-type": {
"name": "myNewTxtField",
"class": "solr.TextField",
"positionIncrementGap": "100",
"analyzer": {
"tokenizer": {
"class": "solr.StandardTokenizerFactory"
}
}
}
}

4、Field 字段操作

4.1 添加一个字段 add-field

请求地址:http://localhost:8983/api/cores/mycore/schema

请求方式:post

设置头信息为:Content-type:application/json

参数:json格式的参数

{
"add-field": {
"name": "sell_by",
"type": "myNewTxtField",
"stored": true
}
}

 4.2 删除一个字段 delete-field

请求地址:http://localhost:8983/api/cores/mycore/schema

请求方式:post

设置头信息为:Content-type:application/json

参数:json格式的参数

{
"delete-field": {
"name": "sell_by"
}
}

4.3 替换一个字段 replace-field

请求地址:http://localhost:8983/api/cores/mycore/schema

请求方式:post

设置头信息为:Content-type:application/json

参数:json格式的参数

{
"replace-field": {
"name": "sell_by",
"type": "date",
"stored": false
}
}

5、dynamicField 动态字段操作

5.1 添加一个动态字段 add-dynamic-field

请求地址:http://localhost:8983/api/cores/mycore/schema

请求方式:post

设置头信息为:Content-type:application/json

参数:json格式的参数

{
"add-dynamic-field": {
"name": "*_s",
"type": "string",
"stored": true
}
}

5.2 删除一个动态字段 delete-dynamic-field

请求地址:http://localhost:8983/api/cores/mycore/schema

请求方式:post

设置头信息为:Content-type:application/json

参数:json格式的参数

{
"delete-dynamic-field": {
"name": "*_s"
}
}

5.3 替换一个动态字段 replace-dynamic-field

请求地址:http://localhost:8983/api/cores/mycore/schema

请求方式:post

设置头信息为:Content-type:application/json

参数:json格式的参数

{
"replace-dynamic-field":{
"name":"*_s",
"type":"text_general",
"stored":false }
}

6、copyField 复制字段操作

6.1 添加复制字段 add-copy-field

请求地址:http://localhost:8983/api/cores/mycore/schema

请求方式:post

设置头信息为:Content-type:application/json

参数:json格式的参数

{
"add-copy-field": {
"source": "shelf",
"dest": [
"location",
"catchall"
]
}
}

6.2 删除复制字段 delete-copy-field

请求地址:http://localhost:8983/api/cores/mycore/schema

请求方式:post

设置头信息为:Content-type:application/json

参数:json格式的参数

{
"delete-copy-field": {
"source": "shelf",
"dest": "location"
}
}

7. 一次请求多个操作示例

7.1 同时添加字段类型和字段

请求地址:http://localhost:8983/api/cores/mycore/schema

请求方式:post

设置头信息为:Content-type:application/json

参数:json格式的参数

{
"add-field-type": {
"name": "myNewTxtField",
"class": "solr.TextField",
"positionIncrementGap": "100",
"analyzer": {
"tokenizer": {
"class": "solr.WhitespaceTokenizerFactory"
},
"filters": [
{
"class": "solr.WordDelimiterFilterFactory",
"preserveOriginal": "0"
}
]
}
},
"add-field": {
"name": "sell_by",
"type": "myNewTxtField",
"stored": true
}
}

7.2 一次添加多个字段

请求地址:http://localhost:8983/api/cores/mycore/schema

请求方式:post

设置头信息为:Content-type:application/json

参数:json格式的参数

{
"add-field": [
{
"name": "shelf",
"type": "myNewTxtField",
"stored": true
},
{
"name": "location",
"type": "myNewTxtField",
"stored": true
}
]
}

8、获取schema信息

8.1 获取整个schema

GET /collection/schema

可以通过wt请求参数指定返回的格式:json,xml, schema.xml

http://localhost:8983/api/cores/mycore/schema?wt=xml

Solr系列三:solr索引详解(Schema介绍、字段定义详解、Schema API 介绍)

8.2 获取字段

GET /collection/schema/fields
GET /collection/schema/fields/fieldname
请求参数有:
wt: json/xml fl:指定需要返回的字段名,以逗号或空格间隔
showDefaults:true/false ,是否返回字段的默认属性
includeDynamic:true/false,在path中带有fieldname 或指定了 fl的情况下才有用。

获取所有字段:

http://localhost:8983/api/cores/mycore/schema/fields

Solr系列三:solr索引详解(Schema介绍、字段定义详解、Schema API 介绍)

获取指定字段:

http://localhost:8983/api/cores/mycore/schema/fields/_root_

Solr系列三:solr索引详解(Schema介绍、字段定义详解、Schema API 介绍)

8.3 获取动态字段

GET /collection/schema/dynamicfields
GET /collection/schema/dynamicfields/name

可用请求参数:wt、showDefaults

http://localhost:8983/api/cores/mycore/schema/dynamicfields?wt=xml

Solr系列三:solr索引详解(Schema介绍、字段定义详解、Schema API 介绍)

8.4 获取字段类别

GET /collection/schema/fieldtypes
GET /collection/schema/fieldtypes/name

可用请求参数:wt、showDefaults

http://localhost:8983/api/cores/mycore/schema/fieldtypes?wt=xml

Solr系列三:solr索引详解(Schema介绍、字段定义详解、Schema API 介绍)

8.5 获取复制字段

GET /collection/schema/copyfields

可用请求参数:wt、 source.fl、 dest.fl

8.6 获取其他信息

GET /collection/schema/name               获取schema的name
GET /collection/schema/version 获取schema的版本
GET /collection/schema/uniquekey 获取唯一键字段
GET /collection/schema/similarity 获取全局相关性计算类

可用请求参数:wt