【文件属性】:
文件名称:streams-kafka
文件大小:230KB
文件格式:ZIP
更新时间:2021-05-15 13:55:41
Scala
启发性
最初的想法是创建一个存储库,在其中可以放置与实验相关的不同流媒体库。 这个想法是从Akka Streams开始,然后与Spark Streaming和其他库进行比较。
主要目标是在本地计算机上重现生产环境。 为此,它比Docker更好吗?
在此示例中,定义:
Kafka Broker使用Spotify Kafka图像。 已经被评估为 ,但是这一点效果更好。
使用库的生产者和消费者。
如何使用docker在本地运行Spark的示例
创建一个Spark集群:使用docker compose的spark master和spark worker。
使用Spark Streaming创建消费者。
为了创建消费者,我尝试使用此处提供的scala模板lhttps://github.com/big-data-europe/docker-spark
该模板不是最新版本的spark,因
【文件预览】:
streams-kafka-master
----spark-consumer()
--------src()
--------build.sbt(1KB)
----project()
--------build.properties(20B)
--------plugins.sbt(401B)
----common()
--------src()
--------build.sbt(24B)
----kubernetes()
--------README.md(129B)
--------gcloud()
--------minikube()
----spark-docker-template()
--------build.sbt(820B)
--------README.md(752B)
--------template.sh(279B)
----streams_meetup_presentation.pptx(208KB)
----akka-producer()
--------src()
--------build.sbt(754B)
----build.sbt(3KB)
----README.md(5KB)
----akka-consumer()
--------src()
--------build.sbt(754B)
----docker-compose.yml(1KB)