文件名称：LogSystem:kafka+etcd+es+kibana日志系统
文件大小：8.16MB
文件格式：ZIP
更新时间：2024-05-20 11:21:08
JavaScript
日志收集系统 1.项目背景 每个系统都有日志,当系统出现问题时,需要通过日志解决问题 当系统机器比较少时,登录到服务器上查看即可满足 当系统机器规模巨大,登录到机器上查看几乎不显示 数据挖掘分析 2.解决方案 把机器上的日志实时收集,统一存储到中心系统 然后再对这些日志建立索引,通过搜索找到对应日志 通过提供友好的web页面,通过web即可完成日志搜索 3.面临的问题 实时日志量非常大, 每天几十亿条 日志准时收集, 延迟控制在分钟级别 能够水平扩展 4.ELK方案缺点 运维成本高,每增加一个日志搜集,都需要手动需要修改配置 监控缺失,无法准确获取logstash的状态 无法做定制化开发及维护 5.日志搜集系统设计 布在每一台业务机器上去, 客户端根据配置去读要搜集的每一个日志 组件介绍 LogAgent: 日志搜集客户端,用来收集服务器上的日志 Kafka: 高吞吐量分布式队列,link