【文件属性】：
文件名称：elk:麋鹿日志收集系统
文件大小：975KB
文件格式：ZIP
更新时间：2021-03-11 20:23:56
系统开源
日志收集项目架构设计及kafka介绍
ELK项目架构
ELK方案的问题
运维成本高，每增加一个日志收集项，都需要手动修改配置
监控缺失，无法准确获取logstash的状态
无法做到定制化开发和维护
架构设计
卡夫卡原理：
Kafka选择分区模式（3种）：
指定往该分区写
指定键，kafka根据键做哈希然后决定写该分区
初步方式
生产者往kafka发送数据的模式（3种）：
0 :把数据发送给Leader就成功，效率高，安全性最低
1 :把数据发送给领导者，等待leaader确认回ACK
all :把数据发送给leader，确保跟随从leader拉取数据回复ACK给leader，leader在回复ACK，安全性最高
docker-compose建造elk
$ cd home/
$ git clone https://github.com/deviantony/docker-elk.
【文件预览】：
elk-master
----elk()
--------kafka()
--------es()
--------taillog()
--------config()
--------etcd()
----docker-elk()
--------.env(18B)
--------.gitattributes(83B)
--------.github()
--------kibana()
--------.travis()
--------logstash()
--------extensions()
--------.travis.yml(2KB)
--------LICENSE(1KB)
--------README.md(17KB)
--------docker-compose.yml(2KB)
--------elasticsearch()
--------docker-stack.yml(2KB)
----asset()
--------image-20200218124307456.png(431KB)
--------image-20200218124557412.png(231KB)
--------image-20200218134355772.png(291KB)
----main.go(663B)
----demon_test()
--------kafka_demon()
--------tail_demon()
----.idea()
--------elk-server.iml(322B)
--------misc.xml(174B)
--------modules.xml(272B)
--------.gitignore(38B)
--------vcs.xml(385B)
----README.md(1KB)