Elasticsearch 多字段搜索

时间:2024-09-19 10:06:08

查询很少是对一个字段做 match 查询,通常都是一个 query 查询多个字段,比如一个 doc 有 title、content、pagetag 等文本字段,要在这些字段查询含多个 term 的 query,就要对它们的相关度评分做合理的合并。这被称为多词(multiword)、多字段(multifield)查询。

如果一个 query 可以结构化,如哪些词是 title,哪些词是 author,那么就可以直接在相关字段中查询,使用 bool 查询即可解决问题,bool 查询是“匹配越多越好”,如搜“War and Peace Leo Tolstoy”,查询语句如下:

GET /_search
{
"query": {
"bool": {
"should": [
{ "match": { "title": "War and Peace" }},
{ "match": { "author": "Leo Tolstoy" }}
]
}
}
}

还可以对不同的字段加不同的 boost 权重。

以上被称为多重查询字符串,也可算是结构化查询,不过现实中通常是一个 query 在多个字段中查询,即单一查询字符串。毕竟对 query 做结构化需要些 nlp 技术和额外的人力成本,且比起单一查询字符串的效果提升也有限,所以若不是对召回效果有更高追求,还是不要轻举妄动,就好好做一个 query 在多个字段的查询吧。

一个 query 在多个字段中的查询,有三种策略:best_fields、most_fields、cross_fields。

介绍这三种策略之前,先铺垫下布尔查询和 dis_max 查询。

1. bool 查询

一个 query 在多个字段中的查询,同样可使用 bool 查询。

{
"query": {
"bool": {
"should": [
{ "match": { "title": "Brown fox" }},
{ "match": { "body": "Brown fox" }}
]
}
}
}

不过由于 bool 查询评分公式的问题,效果不太好,比如一个文档 title 和 body 都包含 brown,不包含 fox,另一个文档在 body 字段包含了 brown 和 fox,显然后者更符合搜索意图,但 bool 查询的评分前者高,为了理解导致这样的原因,需要看下 bool 查询是如何计算评分的:

  • 它会执行 should 语句中的两个查询。

  • 加和两个查询的评分。

  • 乘以匹配字段的总数(这里不知是否理解正确,存疑,待验证)。

  • 除以所有语句总数(这里为:2)。

注意这里的“乘以匹配语句的总数”是关键,这会导致匹配字段越多,分值越大。(后面的 most_fields 也是使用这个计算,才使得匹配字段数越多,分值越大)

解决方案是,使用最佳匹配字段的分值作为整个查询的整体分值,让包含 query 两个单词的字段有更高的权重,而不是在不同的字段中重复出现的相同单词。dis_max 查询应运而生。

2. dis_max

dis_max 查询就是返回匹配了 query 的文档,分值是最佳匹配字段产生的分值。加上 tie_breaker 可得出很好的搜索效果。

{
"query": {
"dis_max": {
"queries": [
{ "match": { "title": "Quick pets" }},
{ "match": { "body": "Quick pets" }}
],
"tie_breaker": 0.3
}
}
}

3. best_fields

multi_match 查询提供了一个简便的方法对多个字段执行相同的查询。默认情况下,该查询以 best_fields 类型执行,它会为每个字段生成一个 match 查询,然后将这些查询包含在一个 dis_max 查询中。

例如:

GET /_search
{
"query": {
"multi_match" : {
"query": "brown fox",
"type": "best_fields",
"fields": [ "subject", "message" ],
"tie_breaker": 0.3
}
}
}

执行时就变成了:

GET /_search
{
"query": {
"dis_max": {
"queries": [
{ "match": { "subject": "brown fox" }},
{ "match": { "message": "brown fox" }}
],
"tie_breaker": 0.3
}
}
}

可通过 caret 语法(^) 对个别字段加权,如:

{
"multi_match": {
"query": "Quick brown fox",
"fields": [ "title", "chapter_title^2" ]
}
}

best_fields 和 most_fields 都是以字段为中心的查询,参数 operator 和 minimum_should_match 也是针对每个字段生效的,至少有一个字段满足要求,才会通过筛选并进入下一步计分,计分时也只有符合要求的字段才会参与计分。

operator 默认为 or,如果设置为 and,那么字段必须匹配所有 query 分词。当 operator 设为默认值 or 时,minimum_should_match 才会生效,设置每个字段应匹配分词数。

所以有些 query 信息是分布在多个字段上的,这时就不适合设置 operator 为 and,会减少召回量。如果确认 query 信息一定完全在某个字段上,则可设为 and。

为与 cross_fields 做对比,这里举个实际应用的例子。

搜索词为“苹果8plus国行”,文档有三个字段:cateName、title、content,其中 cateName 和 content 用 ik_smart 分词,title 用 ik_max_word 分词(不同字段的分词方法差异会在 cross_fields 中有所体现)。

看下 best_fields 查询的实际执行。

ES 语句:

curl -XGET 'ip:port/indexname/_validate/query?explain&pretty' -d'
{
"query": {
"function_score": {
"query": {
"bool": {
"should": [{
"multi_match": {
"query": "苹果8plus国行",
"fields": ["cate_name^1.0", "content^1.0", "title^1.0"],
"type": "best_fields",
"operator": "AND",
"tie_breaker": 0.3
}
}]
}
}
}
}
}
'

返回解释:

(
(+cate_name:苹果8 +cate_name:plus +cate_name:国行) |
(+content:苹果8 +content:plus +content:国行) |
(+title:苹果8 +title:苹果 +title:8plus +title:8 +title:plus +title:国 +title:行)
)~0.3

明显的以字段为中心的查询。

tips:字段名可以通过通配符指定,如:

{
"multi_match": {
"query": "Quick brown fox",
"fields": "*_title"
}
}

4. most_fields

有时为了尽可能多地匹配文档,会将同一文本的不同形式索引到多个字段。

ES语句(注意不要加 operator 或 minimum_should_match,不然就跟 best_fields 一样了):

curl -XGET 'ip:port/indexname/_validate/query?explain&pretty' -d'
{
"query": {
"function_score": {
"query": {
"bool": {
"should": [{
"multi_match": {
"query": "苹果8plus国行",
"fields": ["cate_name^1.0", "content^1.0", "title^1.0"],
"type": "most_fields"
}
}]
}
}
}
}
}
'

返回解释:

(
(cate_name:苹果8 cate_name:plus cate_name:国 cate_name:行) |
(content:苹果8 content:plus content:国 content:行) |
(title:苹果8 title:苹果 title:8plus title:8 title:plus title:国 title:行)
)~1.0

根据文档,most_fields 查询是用 bool 查询将两个字段语句包在里面,而不是像 best_fields 一样用 dis_max。(不知这个怎么验证,在自己的 ES 里试了下,看 explain 日志,没看出跟 best_fields 时 tie_breaker=1 有什么差别)

5. cross_fields

ES语句:

curl -XGET 'ip:port/indexname/_validate/query?explain&pretty' -d'
{
"query": {
"function_score": {
"query": {
"bool": {
"should": [{
"multi_match": {
"query": "苹果8plus国行",
"fields": ["cate_name^1.0", "content^1.0", "title^1.0"],
"type": "cross_fields",
"operator": "AND",
"tie_breaker": 0.3
}
}]
}
}
}
}
}
'

返回解释:

(
(+blended(terms:[cate_name:苹果8, content:苹果8]) +
blended(terms:[cate_name:plus, content:plus]) +
blended(terms:[cate_name:国行])) |
(+title:苹果8 +title:苹果 +title:8plus +title:8 +title:plus +title:国 +title:行)
)~0.3

这里 title 要和 cate_name、content 分开计算的原因,是因为两部分的分词方法不同,term 也不同。

根据《Elasticsearch: 权威指南》,关于 苹果8 的 IDF,会在 cate_name 和 content 中取最小值作为两个字段的 IDF。(待验证)

参考资料

  • Elasticsearch: 权威指南:https://www.elastic.co/guide/cn/elasticsearch/guide/current/_best_fields.html
  • Elasticsearch Reference:https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-multi-match-query.html