在做es 聚合查询时,发现数据不准确:根据name 聚合,查询出wang jie有5个文档,然后。根据这个姓名查询,确有7个文档
说明,第一次聚合查询不准确
如下图:
第一次:
对应dsl
第二次:
对应dsl
于是网上搜索一波,看了几篇文章,大概总结一下
es 的数据是在shard上存储的,一个索引默认是5个分片,es 聚合查询的时候,是先在每个分片取出shard_size个数据,然后再汇总每个分片的数据,最后再取size 个数据,其中 size 参数规定了最后返回的term个数(默认是10个)
shard_size 参数规定了每个分片上返回的个数(默认(size * 1.5 + 10),
所以聚合查询存在一定误差
解决办法:
(1)加大size 的值可以减少误差
(2)将所有数据存在一个shard 上,这样的话就不存在误差了(适用于少数据量)
(3)增大shard_size的值,缺点就是,汇总的时候会有瓶颈
gr参考“https://niyanchun.com/term-aggregation-accuracy-in-es.html