文件名称：log-analysis:使用 Spark 进行 Hadoop 日志分析
文件大小：6KB
文件格式：ZIP
更新时间：2024-07-05 07:26:45
Scala
Hadoop日志分析器 这个用 Scala、Spark 和 MLLIB 编写的应用程序的总体目标是根据日志数据预测应用程序故障。 我的解决方案由两个模块组成：解析器LogParser和日志分析器LogAnalysis 。 我解析了 5 种类型的日志，这些日志将解释用于机器学习部分的 6 个特征。 特征： 持续时间：我计算应用程序的开始时间和结束时间之间的差异。 分配的容器：我计算每个应用程序分配的容器数量。 Killed Container：我计算每个应用程序被杀死的容器数量。 成功容器：我计算成功退出的容器数量。 （这个似乎与前一个多余。所以我不使用它）。 内存占用（占 2 个功能）：我计算了物理内存和虚拟内存在可用总内存中的比率。 日志分析器的工作方式如下：首先它读取每个日志行并解析它。 然后过滤掉未定义的日志行。 然后日志按应用程序 id 分组。 对于每个应用程序
【文件预览】：
log-analysis-master
----src()
--------main()
----build.sbt(187B)
----README.md(1KB)
----.gitignore(233B)