spark_streaming_aggregation:使用Spark Streaming进行事件聚合

时间:2024-06-05 04:54:01
【文件属性】:

文件名称:spark_streaming_aggregation:使用Spark Streaming进行事件聚合

文件大小:976KB

文件格式:ZIP

更新时间:2024-06-05 04:54:01

Scala

spark_streaming_aggregation 通过Spark Streaming进行事件聚合。 该示例包括基于Kafka或TCP事件流的事件聚合。 这些说明是但是应该在独立群集上工作。 生成并运行Kafka示例 生成程序集./sbt/sbt package 确保您有正在运行的Spark服务器和Cassandra节点在本地主机上侦听 确保您已在本地主机上运行Kafka服务器,并预先设置了主题events 。 启动Kafka生产者./sbt/sbt "run-main KafkaProducer" 将程序集提交到spark服务器dse spark-submit --class KafkaConsumer ./target/scala-2.10/sparkstreamingaggregation_2.10-0.2.jar 数据将发布到C *列系列demo.event_log和


【文件预览】:
spark_streaming_aggregation-master
----.gitignore(187B)
----src()
--------main()
----sbt()
--------sbt-launch-0.13.1.jar(1.09MB)
--------sbt(2KB)
----LICENSE(1KB)
----README.md(2KB)
----build.sbt(430B)

网友评论