Elasticsearch多主、多数据、多协调、多冷节点说明及配置（一）

时间：2022-12-22 15:58:15

最近因为客户项目需要，所以专门调研了Elasticsearch的这些不常用的重要功能，并整理成文档，现在分享出来，希望对有这方面需求的同行有些帮助

由于内容较多，一共分为三部分分享

  1. Elasticsearch多主、多数据、多协调、多冷节点节点说明及配置
  2. Elasticsearch灾备同步方案设计
  3. Elasticsearch灾备同步方案设计验证

Elasticsearch多主、多数据、多协调、多冷节点说明及配置（一）

主要分享低代码、微服务、容器化、SAAS‬、系统架构方面的的‬内容‬‬，希望‬大家‬点赞‬，评论，关注‬。

1. 多主

  • ElasticSearch默认是任何节点都可以成为主节点，也可以手动设置节点成为主节点候选节点，负责管理集群范围内的所有变更,例如增加、删除索引或者增加、删除节点等。
  • 主节点数据需要为奇数，这样主节点出现问题时能选举新的主节点继续提供服务，保证主节点的高可用性
  • 涉及到的elasticsearch.yml配置文件的主要配置项
cluster.name: "BoCloud_cluster"
node.name: master_1
node.master: true
http.port: 9200
transport.tcp.port: 9300
discovery.seed_hosts: ["dc_es1","dc_es2","dc_es3"]
cluster.initial_master_nodes: ["dc_es1","dc_es2","dc_es3"]
  • cluster.name 集群名称
  • node.name 节点名称，建议采用master_1、master_2、master_3
  • node.master 是否主节点候选节点
  • node.data 是否数据节点
  • discovery.seed_hosts 集群发现的节点名称、或者节点IP，建议设置为节点名
  • cluster.initial_master_nodes 初始集群发现的节点名称、或者节点IP，建议设置为节点名
  • 如果node.master、node.data 同时设置为true，则该节点既能参与选举主节点，也能为数据节点，如果node.master设置为true、node.data为false，则该节点只能参与选举主节点

2. 多数据

  • ElasticSearch数据节点主要是存储索引数据的节点，主要对文档进行增删改查操作，聚合操作。数据节点对cpu，内存，io要求较高， 在优化的时候需要监控数据节点的状态，当资源不够的时候，需要在集群中添加新的数据节点。
  • 涉及到的elasticsearch.yml配置文件的主要配置项
cluster.name: "BoCloud_cluster"
node.name: data_1
node.data: true
http.port: 9200
transport.tcp.port: 9300
discovery.seed_hosts: ["dc_es1","dc_es2","dc_es3"]
cluster.initial_master_nodes: ["dc_es1","dc_es2","dc_es3"]
  • 这里主要关注node.data设置为true，表示该node节点是数据节点
  • 数据节点没有奇数条件限制，可以根据数据量的大小，进行数据节点的规划

3. 多协调

  • ElasticSearch默认每个node都是一个协调节点，但也允许手动设置协调节点，协调节作用就把客户端的请求转分配给最合适的节点来处理,简单来讲就是负载均衡的作用。集群中每个节点的负载情况和健康状况都不一样,有些节点可能已经超负荷了,有一部分甚至已经不健康了,这些不健康的节点就不该再接收请求,否则会导致失败的响应,协调节点知道集群中各个节点的状态。
  • 协调节点主要提到负载均衡的作用
  • 涉及到的elasticsearch.yml配置文件的主要配置项
cluster.name: "BoCloud_cluster"
node.name: condition_1
node.data: false
node.master: false
node.ingest: true
http.port: 9200
transport.tcp.port: 9300
discovery.seed_hosts: ["dc_es1","dc_es2","dc_es3"]
cluster.initial_master_nodes: ["dc_es1","dc_es2","dc_es3"]
  • node.data 设置为false，不参与保存数据
  • node.master设置为false，不参与主节点候选
  • node.ingest设置false，不参与分析数据
  • 协调节点没有节点数量限制，但建议为奇数，也可以根据实际情况进行调整

4. 多冷节点

  • 冷节点用于不经常访问的read-only索引。作用跟数据库的只读库类似。 当索引不再被频繁查询时，可通过设置冷热数据将不经常使用的数据转移到冷节点，一旦设置这个属性，ElasticSearch会将索引合并到冷节点。同时，同时也可以在配置文件中设置 index.codec: best_compression 保证冷节点的数据压缩，减少空间
  • 冷节点建议跟跟热节点数据节点数对等
  • 涉及到的elasticsearch.yml配置文件的主要配置项
cluster.name: "BoCloud_cluster"
node.name: warm_1
node.data: true
http.port: 9200
node.attr.box_type:warm
transport.tcp.port: 9300
discovery.seed_hosts: ["dc_es1","dc_es2","dc_es3"]
cluster.initial_master_nodes: ["dc_es1","dc_es2","dc_es3"]
  • node.name 节点名称
  • node.data 数据节点
  • node.attr.box_type 设置数据节点类型，这里是冷节点
  • 数据节点类型可以通过node.attr.box_type设置warm、hot值来标志冷热数据节点，同时在创建index的时候需要指定索引数据保存到数据节点的类型，通过index索引配置文件的index.routing.allocation.require.box_type设置数据存储的节点
{ 
 "settings": { 
   "index.routing.allocation.require.box_type": "hot",
   "index.number_of_replicas": "0"
 } 
}
  • 在索引数据不再经常索引的时，可以属性值为warm使数据转存到冷节点

主要分享低代码、微服务、容器化、SAAS‬、系统架构方面的的‬内容‬‬，希望‬大家‬点赞‬，评论，关注‬。

标签：

相关文章