log-analysis:hadoop日志分析工具

时间:2024-05-28 16:04:17
【文件属性】:

文件名称:log-analysis:hadoop日志分析工具

文件大小:5.24MB

文件格式:ZIP

更新时间:2024-05-28 16:04:17

Java

对数分析 hadoop2.0集群上的Hive日志分析工具。 在hadoop上执行HQL时,会在本地磁盘上生成一些日志文件(默认)。 该工具借助纱线的日志聚合功能来分析日志文件,即通过HDFS中的以下参数设置的目录中的所有日志文件: mapreduce.jobhistory.done-dir yarn.node.manager.remote-app-log-dir 当将日志信息,持久性数据分析到数据库中时,该工具可以在查询,作业和任务之间建立关系。 另一个部分是可视化。 需求环境: -丹麦克朗1.8; -hadoop 2.0; -蜂巢0.12; 依存关系: -工作历史记录服务-纱线记录变幅


网友评论