Elasticsearch 聚合 不准确问题

时间:2024-03-28 11:30:38

在做es 聚合查询时,发现数据不准确:根据name 聚合,查询出wang jie有5个文档,然后。根据这个姓名查询,确有7个文档

说明,第一次聚合查询不准确

如下图:

第一次:

Elasticsearch 聚合 不准确问题

对应dsl

Elasticsearch 聚合 不准确问题

第二次:

Elasticsearch 聚合 不准确问题

对应dsl

Elasticsearch 聚合 不准确问题

于是网上搜索一波,看了几篇文章,大概总结一下

 

es 的数据是在shard上存储的,一个索引默认是5个分片,es 聚合查询的时候,是先在每个分片取出shard_size个数据,然后再汇总每个分片的数据,最后再取size 个数据,其中 size 参数规定了最后返回的term个数(默认是10个)
shard_size 参数规定了每个分片上返回的个数(默认(size * 1.5 + 10),

所以聚合查询存在一定误差

解决办法:

(1)加大size 的值可以减少误差
(2)将所有数据存在一个shard 上,这样的话就不存在误差了(适用于少数据量)
(3)增大shard_size的值,缺点就是,汇总的时候会有瓶颈

gr参考“https://niyanchun.com/term-aggregation-accuracy-in-es.html