文件名称：streams-kafka
文件大小：230KB
文件格式：ZIP
更新时间：2024-06-04 07:42:21
Scala
启发性 最初的想法是创建一个存储库，在其中可以放置与实验相关的不同流媒体库。 这个想法是从Akka Streams开始，然后与Spark Streaming和其他库进行比较。 主要目标是在本地计算机上重现生产环境。 为此，它比Docker更好吗？ 在此示例中，定义： Kafka Broker使用Spotify Kafka图像。 已经被评估为 ，但是这一点效果更好。 使用库的生产者和消费者。 如何使用docker在本地运行Spark的示例 创建一个Spark集群：使用docker compose的spark master和spark worker。 使用Spark Streaming创建消费者。 为了创建消费者，我尝试使用此处提供的scala模板lhttps：//github.com/big-data-europe/docker-spark 该模板不是最新版本的spark，因
【文件预览】：
streams-kafka-master
----spark-consumer()
--------src()
--------build.sbt(1KB)
----project()
--------build.properties(20B)
--------plugins.sbt(401B)
----common()
--------src()
--------build.sbt(24B)
----kubernetes()
--------README.md(129B)
--------gcloud()
--------minikube()
----spark-docker-template()
--------build.sbt(820B)
--------README.md(752B)
--------template.sh(279B)
----streams_meetup_presentation.pptx(208KB)
----akka-producer()
--------src()
--------build.sbt(754B)
----build.sbt(3KB)
----README.md(5KB)
----akka-consumer()
--------src()
--------build.sbt(754B)
----docker-compose.yml(1KB)