文件名称：ELK日志收集系统.docx
文件大小：565KB
文件格式：DOCX
更新时间：2023-02-05 07:28:50
elk filebeat kafka
1、文档详细介绍了下面三种日志架构的优缺点 Elasticsearch + Logstash + Kibana Elasticsearch + Logstash + filebeat + Kibana Elasticsearch + Logstash + filebeat + redis(也可以是其他中间件，比如kafka) + Kibana 2、生产上建议使用 建议采用 filebeat + kafka + Logstash+Elasticsearch+Kibana的架构。接上所述，随着数据量的加大或者系统采集的数据信息存在洪峰的情况，就存在数据丢失、系统崩溃不可用的情况。而采用此架构kafka能做数据的缓冲，给logstash平滑处理日志的时间，如果日志量继续加大，kafka也达到了最大处理量，此时filebeat就算不能发送出去日志信息，但是日志信息也不会丢失，等到后端压力减少后正常效率工作，任然能够收集到所有日志。 对于ES中的日志信息处理可以定期转存或者丢弃。如果由于数据量过大导致未到规定时间就已占满磁盘的情况，可以通用磁盘空间预警来防止，磁盘占满导致系统不可用的情况。 对于收集的日志信息如果能提前在系统应用日志层面做优化处理（比如json格式化，日志分类）也可以大大提升ELK系统的吞吐能力。减少logstash日志过滤的压力。