Elasticsearch集群调优

时间:2021-12-16 15:30:20

系统调优

  • 禁用swap

    使用swapoff命令可以暂时关闭swap。永久关闭需要编辑/etc/fstab,注释掉swap设备的挂载项。

    swapoff -a

如果完全关闭swap不可行,可以试着降低swap使用的优先级,执行

sysctl vm.swappiness = 1

并编辑/etc/sysctl.conf,加入swappiness设置。

如果因为一些原因,无法对swap进行操作,可以将ES配置中的memory_lock设置为true,从JVM层面保证内存数据交换到swap中。

bootstrap.memory_lock: true

要注意的是,linux系统对lock memory的大小有限制(调整方法见下),可以通过ES接口查看是否设置成功。

GET /_nodes?filter_path=**.mlockall&pretty

  • 调整io策略

    推荐使用的调度策略如下:

    HDD: cfq

    SSD: noop / deadline

    NVMe: none

io策略通过block scheduler接口查看和调整。

/sys/block/sd*/queue/scheduler

  • 关闭Access Time更新

    挂载目录时,指定文件系统选项"noatime","nodiratime",关闭文件access time更新,可以节省大量的io带宽。

  • 调整系统限额

    调整打开文件数量限制

    ulimit -n 65535

调整lock memory大小限制

ulimit -l unlimited

调整stack大小限制

ulimit -s unlimited

ES使用mmapfs方式,将磁盘文件映射到内存上,这会导致占用大量的虚拟地址空间。系统默认值并不能满足要求,可以通过sysctl调整。

sysctl -w vm.max_map_count=262144

以上命令只是暂时生效,想要持久化配置可以编辑/etc/security/limits.conf,/etc/sysctl.conf。

ES调优

  • 集群规划

    分离master节点,data节点和client节点。data节点只用来存储,索引数据,外部的索引和查询请求全部导向client节点,降低data节点的压力。(data节点故障和恢复时,涉及到分片的恢复和迁移,会造成比较大的io负载,影响集群整体索引和查询性能。)

  • 内存!内存!

    对于ES的jvm内存设置,推荐不要超过32G,超过32G一方面会降低内存利用效率,降低GC效率,消耗cpu带宽(参见jvm compressed oops机制),另一方面可能导致不可知的问题。

    同时,要为ES所依赖的底层索引库Lucene预留同等大小的内存。例如,一台内存64G(官方推荐配置,ideal sweet spot)大小的机器,可以为ES配置32G内存,另外32G预留给Lucene使用。

    对于大配置的机器,也不推荐为ES配置超过32G的内存,仍要坚持50%策略,通过单台多node的方式充分利用配置。例如,内存128G的机器,可以配置两个node节点,每个node节点分配32G内存。

    同一台机器配置有多个data节点时,要防止单个分片的主副本都落在同一个机器上,失去副本的意义。设置如下:

    cluster.routing.allocation.same_shard.host:true

另外,内存32G大小的限制,目前是为了触发jvm的compressed oops机制,提高内存使用效率,但是由于平台和jvm版本的差异,这个阈值并不是恰好为32G,需要自行进行测试,获取一个最佳值。

java -Xmx32600m -XX:+PrintFlagsFinal 2> /dev/null | grep UseCompressedOops

  • 分片建议

    分片的大小和数量之间需要一个平衡:分片过小数量过大会产生更大的集群状态信息,更多的segment文件,占用更多jvm内存,分片过大数量过小则会影响查询性能。
  1. 使用time-base的索引格式,控制索引(分片)大小,便于动态调整。
  2. 单分片平均大小在20G~40G之间,不要超过50G。
  3. 保证每GB内存对应20~25分片
  4. 通过测试获取最佳值benchmark using realistic data and queries
  • 集群发现使用单播

    出于可靠和安全考虑,使用单播方式做集群发现。

    discovery.zen.ping.unicast.hosts: ["host1", "host2:port"]

  • 关闭Data节点http

    对于数据加点,关闭http功能,同时也不要安装head, bigdesk, marvel等监控插件,保证数据节点只处理索引,查询,合并等相关数据操作。

    http.enabled: false

  • 设置最小选举数

    防止脑裂,将最小选举数

    discovery.zen.minimum_master_nodes:

设置为

(number of master-eligible nodes / 2) + 1

  • 设置故障恢复阈值

    ES集群在故障恢复的初期,由于部分节点还未恢复服务,ES会检测到大量分片处于非健康状态,而进行分片的重建,迁移,造成不需要的资源开销。通过合理设置恢复参数,可以有效避免上述问题:

    最小恢复节点数(存活节点数达到这个阈值,才会进行恢复)

    gateway.recover_after_nodes: 80

集群节点数

gateway.expected_nodes: 100

恢复等待时间(达到节点规模阈值后,多久后开始执行恢复)

gateway.recover_after_time: 5m

参考文献:

Elasticsearch Reference