文件名称:StreamingBench:支持Flink和Spark的流媒体基准测试
文件大小:59KB
文件格式:ZIP
更新时间:2024-06-15 08:28:27
Java
Streaming_benchmark 流基准测试旨在测量流处理系统(如flink和spark)的性能。 模拟了三个用例(用户访问会话分析,实时广告评估和购物记录分析)。 原始数据将生成并存储在Kafka中。 流映射到流表中,并且对这些表进行查询。 建造 mvn clean package 先决条件 您应该在集群中安装Apache Kafka,Apache zookeeper,Apache Spark和Blink。 设置 将项目克隆到您的母版中。 更新conf / benchmarkConf.yaml(Kafka,Zookeeper,基准测试的属性...) streambench.zkHost ip1:2181,ip2:2181,ip3:2181... streambench.kafka.brokerList ip
【文件预览】:
StreamingBench-master
----conf()
--------dataGenHosts(33B)
--------env(249B)
--------queriesToRun(7B)
--------benchmarkConf.yaml(634B)
----common()
--------src()
--------pom.xml(2KB)
----utils()
--------dataGenerator.sh(435B)
----dataGen()
--------src()
--------pom.xml(8KB)
----flink()
--------conf()
--------src()
--------query()
--------pom.xml(6KB)
--------result()
----README.md(2KB)
----pom.xml(4KB)
----bin()
--------runAll.sh(1KB)
--------runFlinkBenchmark.sh(861B)
--------runSparkBenchmark.sh(769B)
----spark()
--------conf()
--------src()
--------query()
--------pom.xml(8KB)
--------result()