文件名称:使用kafka,spark,hbase开发日志分析系统
文件大小:232KB
文件格式:ZIP
更新时间:2021-11-01 16:01:29
分析系统
# 日志分析系统 ## 系统架构 本使用kafka,spark,hbase开发日志分析系统。 ![architecture](/docs/images/architecture.png "architecture") ### 软件模块 * Kafka:作为日志事件的消息系统,具有分布式,可分区,可冗余的消息服务功能。 * Spark:使用spark stream功能,实时分析消息系统中的数据,完成计算分析工作。 * Hbase:做为后端存储,存储spark计算结构,供其他系统进行调用 ## 环境部署 ### 软件版本 * hadoop 版本 : Hadoop相关软件如zookeeper、hadoop、hbase,使用的是cloudera的 cdh 5.2.0 版本。 * Kafka : 2.9.2-0.8.1.1
【文件预览】:
logcount-master日志统计分析
----logcount-master()
--------.project(537B)
--------src()
--------target()
--------.settings()
--------README.md(3KB)
--------pom.xml(2KB)
--------docs()
--------.classpath(1KB)
--------.gitignore(8B)