【文件属性】:
文件名称:spark-streaming-bench:spark-streaming-bench
文件大小:18KB
文件格式:ZIP
更新时间:2021-06-11 07:45:22
Scala
spark-streaming-bench
添加 Spark 的指标
您可以在找到指标配置模板。 请注意,您必须至少添加 driver.sink,因为驱动程序指标包含每个批次的信息。
微型工作台
字数
演员字数
HDFS字数
卡夫卡字数
TopK(待办事项)
HDFSTopK
卡夫卡托普
依赖库
kafka-clients-0.8.2.1.jar
kafka_2.10-0.8.2.1.jar
指标核心2.2.0.jar
spark-assembly-1.3.0-hadoop2.4.0.jar
spark-streaming-kafka_2.10-1.3.0.jar
zkclient-0.3.jar
笔记
该脚本是硬编码的,然后我将进行代码优化并添加帮助信息。
联系人:Andrew Lee ( )
【文件预览】:
spark-streaming-bench-master
----.gitignore(185B)
----README.md(788B)
----LICENSE(11KB)
----Microbench()
--------WordCount()
----src()
--------org()