详解容器部署ELK7.10，适用于生产

时间：2022-05-09 06:49:44

 一、elk架构简介

详解容器部署ELK7.10，适用于生产
  • 首先 logstash 具有日志采集、过滤、筛选等功能，功能完善但同时体量也会比较大，消耗系统资源自然也多。filebeat作为一个轻量级日志采集工具，虽然没有过滤筛选功能，但是仅仅部署在应用服务器作为我们采集日志的工具可以是说最好的选择。但我们有些时候可能又需要logstash的过滤筛选功能，所以我们在采集日志时用filebeat，然后交给logstash过滤筛选。
  • 其次，logstash的吞吐量是有限的，一旦短时间内filebeat传过来的日志过多会产生堆积和堵塞，对日志的采集也会受到影响，所以在filebeat与logstash中间又加了一层kafka消息队列来缓存或者说解耦，当然redis也是可以的。这样当众多filebeat节点采集大量日志直接放到kafka中，logstash慢慢的进行消费，两边互不干扰。
  • 至于zookeeper，分布式服务管理神器，监控管理kafka的节点注册，topic管理等，同时弥补了kafka集群节点对外界无法感知的问题，kafka实际已经自带了zookeeper，这里将会使用独立的zookeeper进行管理，方便后期zookeeper集群的扩展。

二、环境

  • 阿里云ECS：5台部署ES节点，3台分别部署logstash、kafka、zookeeper和kibana等服务。
  • 阿里云ECS配置：5台 4核16G SSD磁盘。3台 4核16G SSD磁盘。都是 Centos7.8系统
  • 安装 docker 和 docker-compose
  • ELK版本7.10.1;zookeeper版本3.6.2;kafka版本2.13-2.6.0;

详解容器部署ELK7.10，适用于生产

三、系统参数优化

  1. # 最大用户打开进程数 
  2. $ vim /etc/security/limits.d/20-nproc.conf 
  3.  
  4. *           soft   nproc       65535 
  5. *           hard   nproc       65535 
  6.  
  7. # 优化内核，用于 docker 支持 
  8. $ modprobe br_netfilter 
  9. $ cat <<EOF >  /etc/sysctl.d/k8s.conf 
  10. net.bridge.bridge-nf-call-ip6tables = 1 
  11. net.bridge.bridge-nf-call-iptables = 1 
  12. net.ipv4.ip_forward = 1 
  13. EOF 
  14. $ sysctl -p /etc/sysctl.d/k8s.conf 
  15.  
  16. # 优化内核，对 es 支持 
  17. $ echo 'vm.max_map_count=262144' >> /etc/sysctl.conf 
  18.  
  19. # 生效配置 
  20. $ sysctl -p 

四、部署 docker 和 docker-compose

部署 docker

  1. # 安装必要的一些系统工具 
  2. $ yum install -y yum-utils device-mapper-persistent-data lvm2 
  3.  
  4. # 添加软件源信息 
  5. $ yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 
  6.  
  7. # 更新并安装 Docker-CE 
  8. $ yum makecache fast 
  9. $ yum -y install docker-ce 
  10.  
  11. # 配置docker 
  12. $ systemctl enable docker 
  13. $ systemctl start docker 
  14. $ vim /etc/docker/daemon.json 
  15. {"data-root": "/var/lib/docker", "bip": "10.50.0.1/16", "default-address-pools": [{"base": "10.51.0.1/16", "size": 24}], "registry-mirrors": ["https://4xr1qpsp.mirror.aliyuncs.com"], "log-opts": {"max-size":"500m", "max-file":"3"}} 
  16. $ sed  -i '/ExecStart=/i ExecStartPost=\/sbin\/iptables -P FORWARD ACCEPT' /usr/lib/systemd/system/docker.service 
  17. $ systemctl enable docker.service 
  18. $ systemctl daemon-reload 
  19. $ systemctl restart docker 

部署 docker-compose

  1. # 安装 docker-compose 
  2. $ sudo curl -L "https://github.com/docker/compose/releases/download/1.27.4/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose 
  3. $ chmod +x /usr/local/bin/docker-compose 

五、部署 ES

es-master1 操作

  1. # 创建 es 目录 
  2. $ mkdir /data/ELKStack 
  3. $ mkdir elasticsearch elasticsearch-data elasticsearch-plugins 
  4.  
  5. # 容器es用户 uid 和 gid 都是 1000 
  6. $ chown 1000.1000 elasticsearch-data elasticsearch-plugins 
  7.  
  8. # 临时启动一个es 
  9. $ docker run --name es-test -it --rm docker.elastic.co/elasticsearch/elasticsearch:7.10.1 bash 
  10.  
  11. # 生成证书，证书有效期10年，证书输入的密码这里为空 
  12. $ bin/elasticsearch-certutil ca --days 3660 
  13. $ bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12 --days 3660 
  14.  
  15. # 打开新的窗口，拷贝生成的证书 
  16. $ cd /data/ELKStack/elasticsearch 
  17. $ mkdir es-p12 
  18. $ docker cp es-test:/usr/share/elasticsearch/elastic-certificates.p12 ./es-p12 
  19. $ docker cp es-test:/usr/share/elasticsearch/elastic-stack-ca.p12 ./es-p12 
  20. $ chown -R 1000.1000 ./es-p12 
  21.  
  22. # 创建 docker-compose.yml 
  23. $ vim docker-compose.yml 
  24.  
  25. version: '2.2' 
  26. services: 
  27.   elasticsearch: 
  28.     image: docker.elastic.co/elasticsearch/elasticsearch:7.10.1 
  29.     container_name: es01 
  30.     environment: 
  31.       - cluster.name=es-docker-cluster 
  32.       - cluster.initial_master_nodes=es01,es02,es03 
  33.       - bootstrap.memory_lock=true 
  34.       - "ES_JAVA_OPTS=-Xms10000m -Xmx10000m" 
  35.     ulimits: 
  36.       memlock: 
  37.         soft: -1 
  38.         hard: -1 
  39.       nofile: 
  40.         soft: 65536 
  41.         hard: 65536 
  42.     mem_limit: 13000m 
  43.     cap_add: 
  44.       - IPC_LOCK 
  45.     restart: always 
  46.     # 设置 docker host 网络模式 
  47.     network_mode: "host" 
  48.     volumes: 
  49.        - /data/ELKStack/elasticsearch-data:/usr/share/elasticsearch/data 
  50.        - /data/ELKStack/elasticsearch-plugins:/usr/share/elasticsearch/plugins 
  51.        - /data/ELKStack/elasticsearch/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml 
  52.        - /data/ELKStack/elasticsearch/es-p12:/usr/share/elasticsearch/config/es-p12 
  53.  
  54. # 创建 elasticsearch.yml 配置文件 
  55. $ vim elasticsearch.yml 
  56.  
  57. cluster.name: "es-docker-cluster" 
  58. node.name: "es01" 
  59. network.host: 0.0.0.0 
  60.  
  61. node.master: true 
  62. node.data: true 
  63.  
  64. discovery.zen.minimum_master_nodes: 2 
  65. http.port: 9200 
  66. transport.tcp.port: 9300 
  67.  
  68. # 如果是多节点es，通过ping来健康检查 
  69. discovery.zen.ping.unicast.hosts: ["172.20.166.25:9300", "172.20.166.24:9300", "172.20.166.22:9300", "172.20.166.23:9300", "172.20.166.26:9300"] 
  70. discovery.zen.fd.ping_timeout: 120s 
  71. discovery.zen.fd.ping_retries: 6 
  72. discovery.zen.fd.ping_interval: 10s 
  73.  
  74. cluster.info.update.interval: 1m 
  75. indices.fielddata.cache.size:  20% 
  76. indices.breaker.fielddata.limit: 40% 
  77. indices.breaker.request.limit: 40% 
  78. indices.breaker.total.limit: 70% 
  79. indices.memory.index_buffer_size: 20% 
  80. script.painless.regex.enabled: true 
  81.  
  82. # 磁盘分片分配 
  83. cluster.routing.allocation.disk.watermark.low: 100gb 
  84. cluster.routing.allocation.disk.watermark.high: 50gb 
  85. cluster.routing.allocation.disk.watermark.flood_stage: 30gb 
  86.  
  87. # 本地数据分片恢复配置 
  88. gateway.recover_after_nodes: 3 
  89. gateway.recover_after_time: 5m 
  90. gateway.expected_nodes: 3 
  91. cluster.routing.allocation.node_initial_primaries_recoveries: 8 
  92. cluster.routing.allocation.node_concurrent_recoveries: 2 
  93.  
  94. # 允许跨域请求 
  95. http.cors.enabled: true 
  96. http.cors.allow-origin: "*" 
  97. http.cors.allow-headers: Authorization,X-Requested-With,Content-Length,Content-Type 
  98.  
  99. # 开启xpack 
  100. xpack.security.enabled: true 
  101. xpack.monitoring.collection.enabled: true 
  102.  
  103. # 开启集群中https传输 
  104. xpack.security.transport.ssl.enabled: true 
  105. xpack.security.transport.ssl.verification_mode: certificate 
  106. xpack.security.transport.ssl.keystore.path: es-p12/elastic-certificates.p12 
  107. xpack.security.transport.ssl.truststore.path: es-p12/elastic-certificates.p12 
  108.  
  109. # 把 es 配置使用 rsync 同步到其它 es 节点 
  110. $ rsync -avp -e ssh /data/ELKStack 172.20.166.24:/data/ 
  111. $ rsync -avp -e ssh /data/ELKStack 172.20.166.22:/data/ 
  112. $ rsync -avp -e ssh /data/ELKStack 172.20.166.23:/data/ 
  113. $ rsync -avp -e ssh /data/ELKStack 172.20.166.26:/data/ 
  114.  
  115. # 启动 es 
  116. $ docker-compose up -d 
  117.  
  118. # 查看 es 
  119. $ docker-compose ps 

es-master2 操作

  1. $ cd /data/ELKStack/elasticsearch 
  2.  
  3. # 修改 docker-compose.yml elasticsearch.yml 两个配置 
  4. $ sed -i 's/es01/es02/g' docker-compose.yml elasticsearch.yml 
  5.  
  6. # 启动 es 
  7. $ docker-compose up -d 

es-master3 操作

  1. $ cd /data/ELKStack/elasticsearch 
  2.  
  3. # 修改 docker-compose.yml elasticsearch.yml 两个配置 
  4. $ sed -i 's/es01/es03/g' docker-compose.yml elasticsearch.yml 
  5.  
  6. # 启动 es 
  7. $ docker-compose up -d 

es-data1 操作

  1. $ cd /data/ELKStack/elasticsearch 
  2.  
  3. # 修改 docker-compose.yml elasticsearch.yml 两个配置 
  4. $ sed -i 's/es01/es04/g' docker-compose.yml elasticsearch.yml 
  5.  
  6. # 不做为 es master 节点，只做数据节点 
  7. $ sed -i 's/node.master: true/node.master: false/g' elasticsearch.yml 
  8.  
  9. # 启动 es 
  10. $ docker-compose up -d 

es-data2 操作

  1. $ cd /data/ELKStack/elasticsearch 
  2.  
  3. # 修改 docker-compose.yml elasticsearch.yml 两个配置 
  4. $ sed -i 's/es01/es05/g' docker-compose.yml elasticsearch.yml 
  5.  
  6. # 不做为 es master 节点，只做数据节点 
  7. $ sed -i 's/node.master: true/node.master: false/g' elasticsearch.yml 
  8.  
  9. # 启动 es 
  10. $ docker-compose up -d 

设置 es 访问账号

  1. # es-master1 操作 
  2. $ docker exec -it es01 bash 
  3.  
  4. # 设置 elastic，apm_system，kibana，kibana_system，logstash_system，beats_system，remote_monitoring_user 等密码 
  5. # 密码都设置为 elastic123，这里只是举例，具体根据需求设置 
  6. $ ./bin/elasticsearch-setup-passwords interactive 

六、部署 Kibana

logstash3 操作

  1. $ mkdir -p /data/ELKStack/kibana 
  2. $ cd /data/ELKStack/kibana 
  3.  
  4. # 创建 kibana 相关目录，用于容器挂载 
  5. $ mkdir config data plugins 
  6. $ chown 1000.1000 config data plugins 
  7.  
  8. # 创建 docker-compose.yml 
  9. $ vim docker-compose.yml 
  10.  
  11. version: '2' 
  12. services: 
  13.   kibana: 
  14.     image: docker.elastic.co/kibana/kibana:7.10.1 
  15.     container_name: kibana 
  16.     restart: always 
  17.     network_mode: "bridge" 
  18.     mem_limit: 2000m 
  19.     environment: 
  20.       SERVER_NAME: kibana.example.com 
  21.     ports: 
  22.       - "5601:5601" 
  23.     volumes: 
  24.        - /data/ELKStack/kibana/config:/usr/share/kibana/config 
  25.        - /data/ELKStack/kibana/data:/usr/share/kibana/data 
  26.        - /data/ELKStack/kibana/plugins:/usr/share/kibana/plugins 
  27.  
  28. # 创建 kibana.yml 
  29. $ vim config/kibana.yml 
  30.  
  31. server.name: kibana 
  32. server.host: "0" 
  33. elasticsearch.hosts: ["http://172.20.166.25:9200","http://172.20.166.24:9200","http://172.20.166.22:9200"] 
  34. elasticsearch.username: "kibana" 
  35. elasticsearch.password: "elastic123" 
  36. monitoring.ui.container.elasticsearch.enabled: true 
  37. xpack.security.enabled: true 
  38. xpack.encryptedSavedObjects.encryptionKey: encryptedSavedObjects12345678909876543210 
  39. xpack.security.encryptionKey: encryptionKeysecurity12345678909876543210 
  40. xpack.reporting.encryptionKey: encryptionKeyreporting12345678909876543210 
  41. i18n.locale: "zh-CN" 
  42.  
  43. # 启动 kibana 
  44. $ docker-compose up -d 

七、部署 Zookeeper

logstash1 操作

  1. # 创建 zookeeper 目录 
  2. $ mkdir /data/ELKStack/zookeeper 
  3. $ cd /data/ELKStack/zookeeper 
  4. $ mkdir data datalog 
  5. $ chown 1000.1000 data datalog 
  6.  
  7. # 创建 docker-compose.yml 
  8. $ vim docker-compose.yml 
  9.  
  10. version: '2' 
  11. services: 
  12.   zoo1: 
  13.     image: zookeeper:3.6.2 
  14.     restart: always 
  15.     hostname: zoo1 
  16.     container_name: zoo1 
  17.     network_mode: "bridge" 
  18.     mem_limit: 2000m 
  19.     ports: 
  20.       - 2181:2181 
  21.       - 3888:3888 
  22.       - 2888:2888 
  23.     volumes: 
  24.       - /data/ELKStack/zookeeper/data:/data 
  25.       - /data/ELKStack/zookeeper/datalog:/datalog 
  26.       - /data/ELKStack/zookeeper/zoo.cfg:/conf/zoo.cfg 
  27.     environment: 
  28.       ZOO_MY_ID: 1  # 表示 ZK服务的 id, 它是1-255 之间的整数, 必须在集群中唯一 
  29.       ZOO_SERVERS: server.1=0.0.0.0:2888:3888;2181 server.2=172.20.166.28:2888:3888;2181 server.3=172.20.166.29:2888:3888;2181 
  30.       # ZOOKEEPER_CLIENT_PORT: 2181 
  31.  
  32. # 创建 zoo.cfg 配置 
  33. $ vim zoo.cfg 
  34.  
  35. tickTime=2000 
  36. initLimit=10 
  37. syncLimit=5 
  38. dataDir=/data 
  39. dataLogDir=/datalog 
  40. autopurge.snapRetainCount=3 
  41. autopurge.purgeInterval=1 
  42. maxClientCnxns=60 
  43. server.1= 0.0.0.0:2888:3888;2181 
  44. server.2= 172.20.166.28:2888:3888;2181 
  45. server.3= 172.20.166.29:2888:3888;2181 
  46.  
  47. # 拷贝配置到 logstash2 logstash3 机器上 
  48. $ rsync -avp -e ssh /data/ELKStack/zookeeper 172.20.166.28:/data/ELKStack/ 
  49. $ rsync -avp -e ssh /data/ELKStack/zookeeper 172.20.166.29:/data/ELKStack/ 
  50.  
  51. # 启动 zookeeper 
  52. $ docker-compose up -d 

logstash2 操作

  1. $ cd /data/ELKStack/zookeeper 
  2.  
  3. # 修改 docker-compose.yml 文件 
  4. $ vim docker-compose.yml 
  5.  
  6. version: '2' 
  7. services: 
  8.   zoo2: 
  9.     image: zookeeper:3.6.2 
  10.     restart: always 
  11.     hostname: zoo2 
  12.     container_name: zoo2 
  13.     network_mode: "bridge" 
  14.     mem_limit: 2000m 
  15.     ports: 
  16.       - 2181:2181 
  17.       - 3888:3888 
  18.       - 2888:2888 
  19.     volumes: 
  20.       - /data/ELKStack/zookeeper/data:/data 
  21.       - /data/ELKStack/zookeeper/datalog:/datalog 
  22.       - /data/ELKStack/zookeeper/zoo.cfg:/conf/zoo.cfg 
  23.     environment: 
  24.       ZOO_MY_ID: 2  # 表示 ZK服务的 id, 它是1-255 之间的整数, 必须在集群中唯一 
  25.       ZOO_SERVERS: server.1=172.20.166.27:2888:3888;2181 server.2=0.0.0.0:2888:3888;2181 server.3=172.20.166.29:2888:3888;2181 
  26.       # ZOOKEEPER_CLIENT_PORT: 2181 
  27.  
  28. # 修改 zoo.cfg 
  29. $ vim zoo.cfg 
  30.  
  31. tickTime=2000 
  32. initLimit=10 
  33. syncLimit=5 
  34. dataDir=/data 
  35. dataLogDir=/datalog 
  36. autopurge.snapRetainCount=3 
  37. autopurge.purgeInterval=1 
  38. maxClientCnxns=60 
  39. server.1= 172.20.166.27:2888:3888;2181 
  40. server.2= 0.0.0.0:2888:3888;2181 
  41. server.3= 172.20.166.29:2888:3888;2181 
  42.  
  43. # 启动 zookeeper 
  44. $ docker-compose up -d 

logstash3 操作

  1. $ cd /data/ELKStack/zookeeper 
  2.  
  3. # 修改 docker-compose.yml 文件 
  4. $ vim docker-compose.yml 
  5.  
  6. version: '2' 
  7. services: 
  8.   zoo3: 
  9.     image: zookeeper:3.6.2 
  10.     restart: always 
  11.     hostname: zoo3 
  12.     container_name: zoo3 
  13.     network_mode: "bridge" 
  14.     mem_limit: 2000m 
  15.     ports: 
  16.       - 2181:2181 
  17.       - 3888:3888 
  18.       - 2888:2888 
  19.     volumes: 
  20.       - /data/ELKStack/zookeeper/data:/data 
  21.       - /data/ELKStack/zookeeper/datalog:/datalog 
  22.       - /data/ELKStack/zookeeper/zoo.cfg:/conf/zoo.cfg 
  23.     environment: 
  24.       ZOO_MY_ID: 3  # 表示 ZK服务的 id, 它是1-255 之间的整数, 必须在集群中唯一 
  25.       ZOO_SERVERS: server.1=172.20.166.27:2888:3888;2181 server.2=172.20.166.28:2888:3888;2181 server.3=0.0.0.0:2888:3888;2181 
  26.       # ZOOKEEPER_CLIENT_PORT: 2181 
  27.  
  28. # 修改 zoo.cfg 
  29. $ vim zoo.cfg 
  30.  
  31. tickTime=2000 
  32. initLimit=10 
  33. syncLimit=5 
  34. dataDir=/data 
  35. dataLogDir=/datalog 
  36. autopurge.snapRetainCount=3 
  37. autopurge.purgeInterval=1 
  38. maxClientCnxns=60 
  39. server.1= 172.20.166.27:2888:3888;2181 
  40. server.2= 172.20.166.28:2888:3888;2181 
  41. server.3= 0.0.0.0:2888:3888;2181 
  42.  
  43. # 启动 zookeeper 
  44. $ docker-compose up -d 
  45.  
  46. # 操作 zookeeper 
  47. $ docker run -it zoo3 bash 
  48. $ zkCli.sh -server 172.20.166.27:2181,172.20.166.28:2181,172.20.166.29:2181 

八、部署 Kafka

logstash1 操作

  1. # 创建 kafka 目录 
  2. $ mkdir -p /data/ELKStack/kafka 
  3. $ cd /data/ELKStack/kafka 
  4.  
  5. # 创建数据目录，用于存储kafka容器数据 
  6. $ mkdir data 
  7.  
  8. # 把kafka配置拷贝到宿主机上 
  9. $ docker run --name kafka-test -it --rm wurstmeister/kafka:2.13-2.6.0 bash 
  10. $ cd /opt/kafka 
  11. $ tar zcvf /tmp/config.tar.gz config 
  12.  
  13. # 打开一个新的窗口 
  14. $ docker cp kafka-test:/tmp/config.tar.gz ./ 
  15.  
  16. # 解压配置文件 
  17. $ tar xf config.tar.gz 
  18.  
  19. # 创建 docker-compose.yml 
  20. $ vim docker-compose.yml 
  21.  
  22. version: '2' 
  23.  
  24. services: 
  25.   kafka1: 
  26.     image: wurstmeister/kafka:2.13-2.6.0 
  27.     restart: always 
  28.     hostname: kafka1 
  29.     container_name: kafka1 
  30.     network_mode: "bridge" 
  31.     mem_limit: 5120m 
  32.     ports: 
  33.     - 9092:9092 
  34.     - 9966:9966 
  35.     environment: 
  36.       KAFKA_BROKER_ID: 1 
  37.       KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://172.20.166.27:9092       # 宿主机的IP地址而非容器的IP，及暴露出来的端口 
  38.       KAFKA_ADVERTISED_HOST_NAME: 172.20.166.27                        # 外网访问地址 
  39.       KAFKA_ADVERTISED_PORT: 9092                                      # 端口 
  40.       KAFKA_ZOOKEEPER_CONNECT: 172.20.166.27:2181,172.20.166.28:2181,172.20.166.29:2181           # 连接的zookeeper服务及端口 
  41.       KAFKA_JMX_OPTS: "-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=172.20.166.27 -Dcom.sun.management.jmxremote.rmi.port=9966" 
  42.       JMX_PORT: 9966 # kafka需要监控broker和topic的数据的时候,是需要开启jmx_port的 
  43.       KAFKA_HEAP_OPTS: "-Xmx4096M -Xms4096M" 
  44.     volumes: 
  45.     - /data/ELKStack/kafka/data:/kafka                    # kafka数据文件存储目录 
  46.     - /data/ELKStack/kafka/config:/opt/kafka/config 
  47.  
  48. # 优化 kafka server.properties 配置 
  49. $ vim config/server.properties 
  50.  
  51. # 调大socket，防止报错 
  52. socket.send.buffer.bytes=1024000 
  53. socket.receive.buffer.bytes=1024000 
  54. socket.request.max.bytes=1048576000 
  55.  
  56. # topic 数据保留多久，默认168小时(7day) 
  57. log.retention.hours=72 
  58. log.cleanup.policy=delete 
  59.  
  60. # 拷贝配置到 logstash2 logstash3 机器上 
  61. $ rsync -avp -e ssh /data/ELKStack/kafka 172.20.166.28:/data/ELKStack/ 
  62. $ rsync -avp -e ssh /data/ELKStack/kafka 172.20.166.29:/data/ELKStack/ 
  63.  
  64. # 启动 kafka 
  65. $ docker-compose up -d 

logstash2 操作

  1. $ cd /data/ELKStack/kafka 
  2.  
  3. # 修改 docker-compose.yml 文件 
  4. $ vim docker-compose.yml 
  5.  
  6. version: '2' 
  7.  
  8. services: 
  9.   kafka2: 
  10.     image: wurstmeister/kafka:2.13-2.6.0 
  11.     restart: always 
  12.     hostname: kafka2 
  13.     container_name: kafka2 
  14.     network_mode: "bridge" 
  15.     mem_limit: 5120m 
  16.     ports: 
  17.     - 9092:9092 
  18.     - 9966:9966 
  19.     environment: 
  20.       KAFKA_BROKER_ID: 2 
  21.       KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://172.20.166.28:9092       # 宿主机的IP地址而非容器的IP，及暴露出来的端口 
  22.       KAFKA_ADVERTISED_HOST_NAME: 172.20.166.28                        # 外网访问地址 
  23.       KAFKA_ADVERTISED_PORT: 9092                                      # 端口 
  24.       KAFKA_ZOOKEEPER_CONNECT: 172.20.166.27:2181,172.20.166.28:2181,172.20.166.29:2181           # 连接的zookeeper服务及端口 
  25.       KAFKA_JMX_OPTS: "-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=172.20.166.28 -Dcom.sun.management.jmxremote.rmi.port=9966" 
  26.       JMX_PORT: 9966  # kafka需要监控broker和topic的数据的时候,是需要开启jmx_port的 
  27.       KAFKA_HEAP_OPTS: "-Xmx4096M -Xms4096M" 
  28.     volumes: 
  29.     - /data/ELKStack/kafka/data:/kafka                    # kafka数据文件存储目录 
  30.     - /data/ELKStack/kafka/config:/opt/kafka/config 
  31.  
  32. # 启动 kafka 
  33. $ docker-compose up -d 

logstash3 操作

  1. $ cd /data/ELKStack/kafka 
  2.  
  3. # 修改 docker-compose.yml 文件 
  4. $ vim docker-compose.yml 
  5.  
  6. version: '2' 
  7.  
  8. services: 
  9.   kafka3: 
  10.     image: wurstmeister/kafka:2.13-2.6.0 
  11.     restart: always 
  12.     hostname: kafka3 
  13.     container_name: kafka3 
  14.     network_mode: "bridge" 
  15.     mem_limit: 5120m 
  16.     ports: 
  17.     - 9092:9092 
  18.     - 9966:9966 
  19.     environment: 
  20.       KAFKA_BROKER_ID: 3 
  21.       KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://172.20.166.29:9092       # 宿主机的IP地址而非容器的IP，及暴露出来的端口 
  22.       KAFKA_ADVERTISED_HOST_NAME: 172.20.166.29                        # 外网访问地址 
  23.       KAFKA_ADVERTISED_PORT: 9092                                      # 端口 
  24.       KAFKA_ZOOKEEPER_CONNECT: 172.20.166.27:2181,172.20.166.28:2181,172.20.166.29:2181           # 连接的zookeeper服务及端口 
  25.       KAFKA_JMX_OPTS: "-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=172.20.166.29 -Dcom.sun.management.jmxremote.rmi.port=9966" 
  26.       JMX_PORT: 9966  # kafka需要监控broker和topic的数据的时候,是需要开启jmx_port的 
  27.       KAFKA_HEAP_OPTS: "-Xmx4096M -Xms4096M" 
  28.     volumes: 
  29.     - /data/ELKStack/kafka/data:/kafka                    # kafka数据文件存储目录 
  30.     - /data/ELKStack/kafka/config:/opt/kafka/config 
  31.  
  32. # 启动 kafka 
  33. $ docker-compose up -d 
  34.  
  35. # 部署 kafka-manager 管理 kafka 平台 
  36. $ mkdir /data/ELKStack/kafka-manager 
  37. $ cd /data/ELKStack/kafka-manager 
  38. $ vim docker-compose.yml 
  39.  
  40. version: '3.6' 
  41. services: 
  42.   kafka_manager: 
  43.     restart: always 
  44.     container_name: kafa-manager 
  45.     hostname: kafka-manager 
  46.     network_mode: "bridge" 
  47.     mem_limit: 1024m 
  48.     image: hlebalbau/kafka-manager:3.0.0.5-7e7a22e 
  49.     ports: 
  50.       - "9000:9000" 
  51.     environment: 
  52.       ZK_HOSTS: "172.20.166.27:2181,172.20.166.28:2181,172.20.166.29:2181" 
  53.       APPLICATION_SECRET: "random-secret" 
  54.       KAFKA_MANAGER_AUTH_ENABLED: "true" 
  55.       KAFKA_MANAGER_USERNAME: admin 
  56.       KAFKA_MANAGER_PASSWORD: elastic123 
  57.       JMX_PORT: 9966 
  58.       TZ: "Asia/Shanghai" 
  59.  
  60. # 启动 kafka-manager 
  61. $ docker-compose up -d 
  62.  
  63. # 访问 http://172.20.166.29:9000 ，把上面创建的三台 kafka 加入管理，这里不在阐述，网上很多配置教程 

九、部署 logstash

logstash1 操作

  1. $ mkdir /data/ELKStack/logstash 
  2. $ cd /data/ELKStack/logstash 
  3. $ mkdir config data 
  4. $ chown 1000.1000 config data 
  5.  
  6. # 创建 docker-compose.yml 
  7. $ vim docker-compose.yml 
  8.  
  9. version: '2' 
  10. services: 
  11.   logstash1: 
  12.     image: docker.elastic.co/logstash/logstash:7.10.1 
  13.     container_name: logstash1 
  14.     hostname: logstash1 
  15.     restart: always 
  16.     network_mode: "bridge" 
  17.     mem_limit: 4096m 
  18.     environment: 
  19.       TZ: "Asia/Shanghai" 
  20.     ports: 
  21.       - 5044:5044 
  22.     volumes: 
  23.       - /data/ELKStack/logstash/config:/config-dir 
  24.       - /data/ELKStack/logstash/logstash.yml:/usr/share/logstash/config/logstash.yml 
  25.       - /data/ELKStack/logstash/data:/usr/share/logstash/data 
  26.       - /etc/localtime:/etc/localtime 
  27.     user: logstash 
  28.     command: bash -c "logstash -f /config-dir --config.reload.automatic" 
  29.  
  30. # 创建 logstash.yml 
  31. $ vim logstash.yml 
  32.  
  33. http.host: "0.0.0.0" 
  34. # 指发送到Elasticsearch的批量请求的大小，值越大，处理则通常更高效，但增加了内存开销 
  35. pipeline.batch.size: 3000 
  36. # 指调整Logstash管道的延迟，过了该时间则logstash开始执行过滤器和输出 
  37. pipeline.batch.delay: 200 
  38.  
  39. # 创建 logstash 规则配置 
  40. $ vim config/01-input.conf 
  41.  
  42. input {                                        # 输入组件 
  43.     kafka {                                    # 从kafka消费数据 
  44.         bootstrap_servers => ["172.20.166.27:9092,172.20.166.28:9092,172.20.166.29:9092"] 
  45.         #topics => "%{[@metadata][topic]}"     # 使用kafka传过来的topic 
  46.         topics_pattern => "elk-.*"             # 使用正则匹配topic 
  47.         codec => "json"                        # 数据格式 
  48.         consumer_threads => 3                  # 消费线程数量 
  49.         decorate_events => true                # 可向事件添加Kafka元数据，比如主题、消息大小的选项，这将向logstash事件中添加一个名为kafka的字段 
  50.         auto_offset_reset => "latest"          # 自动重置偏移量到最新的偏移量 
  51.         group_id => "logstash-node"            # 消费组ID，多个有相同group_id的logstash实例为一个消费组 
  52.         client_id => "logstash1"               # 客户端ID 
  53.         fetch_max_wait_ms => "1000"            # 指当没有足够的数据立即满足fetch_min_bytes时，服务器在回答fetch请求之前将阻塞的最长时间 
  54.   } 
  55. } 
  56.  
  57. $ vim config/02-output.conf 
  58.  
  59. output {                                       # 输出组件 
  60.     elasticsearch { 
  61.         # Logstash输出到es 
  62.         hosts => ["172.20.166.25:9200", "172.20.166.24:9200", "172.20.166.22:9200", "172.20.166.23:9200", "172.20.166.26:9200"] 
  63.         index => "%{[fields][source]}-%{+YYYY-MM-dd}"      # 直接在日志中匹配，索引会去掉elk 
  64.         # index => "%{[@metadata][topic]}-%{+YYYY-MM-dd}"  # 以日期建索引 
  65.         user => "elastic" 
  66.         password => "elastic123" 
  67.     } 
  68.     #stdout { 
  69.     #    codec => rubydebug 
  70.     #} 
  71. } 
  72.  
  73. $ vim config/03-filter.conf 
  74.  
  75. filter { 
  76.    # 当非业务字段时，无traceId则移除 
  77.    if ([message] =~ "traceId=null") {          # 过滤组件，这里只是展示，无实际意义，根据自己的业务需求进行过滤 
  78.       drop {} 
  79.    } 
  80. } 
  81.  
  82. # 拷贝配置到 logstash2 logstash3 机器上 
  83. $ rsync -avp -e ssh /data/ELKStack/logstash 172.20.166.28:/data/ELKStack/ 
  84. $ rsync -avp -e ssh /data/ELKStack/logstash 172.20.166.29:/data/ELKStack/ 
  85.  
  86. # 启动 logstash 
  87. $ docker-compose up -d 

logstash2 操作

  1. $ cd /data/ELKStack/logstash 
  2. $ sed -i 's/logstash1/logstash2/g' docker-compose.yml 
  3. $ sed -i 's/logstash1/logstash2/g' config/01-input.conf 
  4.  
  5. # 启动 logstash 
  6. $ docker-compose up -d 

logstash3 操作

  1. $ cd /data/ELKStack/logstash 
  2. $ sed -i 's/logstash1/logstash3/g' docker-compose.yml 
  3. $ sed -i 's/logstash1/logstash3/g' config/01-input.conf 
  4.  
  5. # 启动 logstash 
  6. $ docker-compose up -d 

十、部署 filebeat

  1. # 配置 filebeat yum源，这里以 centos7 为例 
  2. $ rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch 
  3.  
  4. $ vim /etc/yum.repos.d/elastic.repo 
  5.  
  6. [elastic-7.x] 
  7. name=Elastic repository for 7.x packages 
  8. baseurl=https://artifacts.elastic.co/packages/7.x/yum 
  9. gpgcheck=1 
  10. gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch 
  11. enabled=1 
  12. autorefresh=1 
  13. type=rpm-md 
  14.  
  15. $ yum install -y filebeat-7.10.1 
  16. $ systemctl enable filebeat 
  17.  
  18. # 配置 
  19. $ cd /etc/filebeat/ 
  20. $ cp -a filebeat.yml filebeat.yml.old 
  21. $ echo > filebeat.yml 
  22.  
  23. # 以收集nginx访问日志为例 
  24. $ vim filebeat.yml 
  25.  
  26. filebeat.inputs:                   # inputs为复数，表名type可以有多个 
  27. - type: log                        # 输入类型 
  28.   access: 
  29.   enabled: true                    # 启用这个type配置 
  30.   json.keys_under_root: true       # 默认这个值是FALSE的，也就是我们的json日志解析后会被放在json键上。设为TRUE，所有的keys就会被放到根节点 
  31.   json.overwrite_keys: true        # 是否要覆盖原有的key，这是关键配置，将keys_under_root设为TRUE后，再将overwrite_keys也设为TRUE，就能把filebeat默认的key值给覆盖 
  32.   max_bytes: 20480                 # 单条日志的大小限制,建议限制(默认为10M,queue.mem.events * max_bytes 将是占有内存的一部分) 
  33.   paths: 
  34.     - /var/log/nginx/access.log    # 监控nginx 的access日志 
  35.  
  36.   fields:                          # 额外的字段 
  37.     source: nginx-access-prod      # 自定义source字段，用于es建议索引（字段名小写，我记得大写好像不行） 
  38.  
  39. # 自定义es的索引需要把ilm设置为false 
  40. setup.ilm.enabled: false 
  41.  
  42. output.kafka:            # 输出到kafka 
  43.   enabled: true          # 该output配置是否启用 
  44.   hosts: ["172.20.166.27:9092", "172.20.166.28:9092", "172.20.166.29:9092"]  # kafka节点列表 
  45.   topic: "elk-%{[fields.source]}"   # kafka会创建该topic，然后logstash(可以过滤修改)会传给es作为索引名称 
  46.   partition.hash: 
  47.     reachable_only: true # 是否只发往可达分区 
  48.   compression: gzip      # 压缩 
  49.   max_message_bytes: 1000000  # Event最大字节数。默认1000000。应小于等于kafka broker message.max.bytes值 
  50.   required_acks: 1  # kafka ack等级 
  51.   worker: 1  # kafka output的最大并发数 
  52.   bulk_max_size: 2048    # 单次发往kafka的最大事件数 
  53. logging.to_files: true   # 输出所有日志到file，默认true， 达到日志文件大小限制时，日志文件会自动限制替换，详细配置：https://www.cnblogs.com/qinwengang/p/10982424.html 
  54. close_older: 30m         # 如果一个文件在某个时间段内没有发生过更新，则关闭监控的文件handle。默认1h 
  55. force_close_files: false # 这个选项关闭一个文件,当文件名称的变化。只在window建议为true 
  56.  
  57. # 没有新日志采集后多长时间关闭文件句柄，默认5分钟，设置成1分钟，加快文件句柄关闭 
  58. close_inactive: 1m 
  59.  
  60. # 传输了3h后荏没有传输完成的话就强行关闭文件句柄，这个配置项是解决以上案例问题的key point 
  61. close_timeout: 3h 
  62.  
  63. # 这个配置项也应该配置上，默认值是0表示不清理，不清理的意思是采集过的文件描述在registry文件里永不清理，在运行一段时间后，registry会变大，可能会带来问题 
  64. clean_inactive: 72h 
  65.  
  66. # 设置了clean_inactive后就需要设置ignore_older，且要保证ignore_older < clean_inactive 
  67. ignore_older: 70h 
  68.  
  69. # 限制 CPU和内存资源 
  70. max_procs: 1 # 限制一个CPU核心,避免过多抢占业务资源 
  71. queue.mem.events: 256 # 存储于内存队列的事件数，排队发送 (默认4096) 
  72. queue.mem.flush.min_events: 128 # 小于 queue.mem.events ,增加此值可提高吞吐量 (默认值2048) 
  73.  
  74. # 启动 filebeat 
  75. $ systemctl start filebeat 

十一、部署 curator，定时清理es索引

logstash3 机器操作

  1. # 参考链接：https://www.elastic.co/guide/en/elasticsearch/client/curator/current/yum-repository.html 
  2.  
  3. # 安装 curator 服务，以 centos7 为例 
  4. $ rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch 
  5.  
  6. $ vim /etc/yum.repos.d/elk-curator-5.repo 
  7.  
  8. [curator-5] 
  9. name=CentOS/RHEL 7 repository for Elasticsearch Curator 5.x packages 
  10. baseurl=https://packages.elastic.co/curator/5/centos/7 
  11. gpgcheck=1 
  12. gpgkey=https://packages.elastic.co/GPG-KEY-elasticsearch 
  13. enabled=1 
  14.  
  15. $ yum install elasticsearch-curator -y 
  16.  
  17. # 创建 curator 配置文件目录与输出日志目录 
  18. $ mkdir -p /data/ELKStack/curator/logs 
  19. $ cd /data/ELKStack/curator 
  20.  
  21. $ vim config.yml 
  22.  
  23. --- 
  24. # Remember, leave a key empty if there is no value.  None will be a string, 
  25. # # not a Python "NoneType" 
  26. client: 
  27.   hosts: ["172.20.166.25", "172.20.166.24", "172.20.166.22", "172.20.166.23", "172.20.166.26"] 
  28.   port: 9200 
  29.   url_prefix: 
  30.   use_ssl: False 
  31.   certificate: 
  32.   client_cert: 
  33.   client_key: 
  34.   ssl_no_validate: False 
  35.   http_auth: elastic:elastic123 
  36.   timeout: 150 
  37.   master_only: False 
  38.  
  39. logging: 
  40.   loglevel: INFO 
  41.   logfile: /data/ELKStack/curator/logs/curator.log 
  42.   logformat: default 
  43.   blacklist: ['elasticsearch', 'urllib3'] 
  44.  
  45. $ vim action.yml 
  46.  
  47. --- 
  48. # Remember, leave a key empty if there is no value.  None will be a string, 
  49. # not a Python "NoneType" 
  50. # 
  51. # Also remember that all examples have 'disable_action' set to True.  If you 
  52. # want to use this action as a template, be sure to set this to False after 
  53. # copying it. 
  54. actions: 
  55.   1: 
  56.     action: delete_indices 
  57.     description: >- 
  58.       Delete indices older than 30 days. Ignore the error if the filter does not result in an actionable list of indices (ignore_empty_list) and exit cleanly. 
  59.     options: 
  60.       ignore_empty_list: True 
  61.       disable_action: False 
  62.     filters: 
  63.     - filtertype: pattern 
  64.       kind: regex 
  65.       value: '^((?!(kibana|json|monitoring|metadata|apm|async|transform|siem|security)).)*$' 
  66.     - filtertype: age 
  67.       source: creation_date 
  68.       direction: older 
  69.       #timestring: '%Yi-%m-%d' 
  70.       unit: days 
  71.       unit_count: 30 
  72.   2: 
  73.     action: delete_indices 
  74.     description: >- 
  75.       Delete indices older than 15 days. Ignore the error if the filter does not result in an actionable list of indices (ignore_empty_list) and exit cleanly. 
  76.     options: 
  77.       ignore_empty_list: True 
  78.       disable_action: False 
  79.     filters: 
  80.     - filtertype: pattern 
  81.       kind: regex 
  82.       value: '^(nginx-).*$' 
  83.     - filtertype: age 
  84.       source: creation_date 
  85.       direction: older 
  86.       #timestring: '%Yi-%m-%d' 
  87.       unit: days 
  88.       unit_count: 15 
  89.  
  90. # 设置定时任务清理es索引 
  91. $ crontab -e 
  92.  
  93. 0 0 * * * /usr/bin/curator --config /data/ELKStack/curator/config.yml /data/ELKStack/curator/action.yml 

十二、参考链接

  • es证书配置：https://cloud.tencent.com/developer/article/1549834
  • es忘记密码找回：https://www.cnblogs.com/woshimrf/p/docker-es7.html
  • es设置密码：https://blog.csdn.net/extraordinarylife/article/details/107917764?utm_medium=distribute.pc_relevant.none-task-blog-baidujs_title-2&spm=1001.2101.3001.4242
  • elk-kafka部署 1：https://www.codenong.com/cs106056710/
  • elk-kafka部署 2：https://www.cnblogs.com/lz0925/p/12061293.html
  • elk优化：https://www.clxz.top/2020/06/19/elk-kafka-optimization/
  • es7索引分片：https://www.elastic.co/guide/en/elasticsearch/reference/current/index-modules.html
  • filebeat优化：https://www.jianshu.com/p/389702465461
  • kafka数据与日志清理：https://blog.csdn.net/VIP099/article/details/106257561

原文地址：https://mp.weixin.qq.com/s/Hx2lNG4D6vhgjd1Ftaa8GA

标签：

相关文章