文件名称:logcount:基于火花流和kafka,hbase的日志统计分析系统
文件大小:215KB
文件格式:ZIP
更新时间:2024-03-31 09:10:00
系统开源
日志分析系统 系统架构 本使用kafka,spark,hbase开发日志分析系统。 软件模块 Kafka:作为日志事件的消息系统,具有多样性,可划分,可重复的消息服务功能。 Spark:使用火花流功能,实时分析消息系统中的数据,完成计算分析工作。 Hbase:做为预先存储,存储spark计算结构,供其他系统进行调用 环境部署 软件版本 hadoop版本:Hadoop相关软件如zookeeper,hadoop,hbase,使用的是cloudera的cdh 5.2.0版本。 卡夫卡:2.9.2-0.8.1.1 软件安装 一种。部署kafka tar -xzf kafka_2.9.2-0.8.1.1.tgz b。编辑kafka配置文件 config/server-1.properties: broker.id=0 port=9093 log.dir=/tmp/ka
【文件预览】:
logcount-master
----pom.xml(2KB)
----docs()
--------images()
--------日志分析系统.docx(61KB)
--------架构.ppt(262KB)
----.settings()
--------org.eclipse.m2e.core.prefs(86B)
--------org.eclipse.core.resources.prefs(150B)
--------org.eclipse.jdt.core.prefs(238B)
----src()
--------main()
----.project(537B)
----.classpath(1KB)
----.gitignore(8B)
----README.md(3KB)