面试必问Elasticsearch倒排索引原理

时间:2022-09-07 08:50:14

本文摘抄自我的微信公众号“程序员柯南”,欢迎关注!原文阅读

倒排索引是目前搜索引擎公司对搜索引擎最常用的存储方式,也是搜索引擎的核心内容,在搜索引擎的实际应用中,有时需要按照关键字的某些值查找记录,所以是按照关键字建立索引,这个索引就被称为倒排索引。

首先你要明确,索引这东西,一般是用于提高查询效率的。举个最简单的例子,已知有5个文本文件,需要我们去查某个单词位于哪个文本文件中,最直观的做法就是挨个加载每个文本文件中的单词到内存中,然后用for循环遍历一遍数组,直到找到这个单词。这种做法就是正向索引的思路。

正向索引的这种查询效率也不需要我多吐槽了。倒排索引的思路其实也并不难。再举一个例子,有两段文本

D1:Hello, conan!

D2:Hello, hattori!

第一步,找到所有的单词

Hello、conan、hattori

第二步,找到包含这些单词的文本位置

Hello(D1,D2)

conan(D1)

hattori(D2)

我们将单词作为Hash表的Key,将所在的文本位置作为Hash表的Value保存起来。

当我们要查询某个单词的所在位置时,只需要根据这张Hash表就可以迅速的找到目标文档。

结合之前的说的正向索引,不难发现。正向索引是通过文档去查找单词,反向索引则是通过单词去查找文档。

倒排索引的优点还包括在处理复杂的多关键字查询时,可在倒排表中先完成查询的并、交等逻辑运算,得到结果后再对记录进行存取,这样把对文档的查询转换为地址集合的运算,从而提高查找速度。