文件名称:LogEventsProcessingSpark:使用 spark、kafka 和 cassandra 进行实时日志事件处理
文件大小:7.23MB
文件格式:ZIP
更新时间:2024-07-29 01:47:22
Scala
说明 Spark 流、kafka 和 cassandra 集成的示例工作流。 先决条件: 混帐 sbt Scala 获取源代码并为 Spark 流作业构建一个包 cd /opt/ git clone https://github.com/ashrithr/LogEventsProcessingSpark.git cd LogEventsProcessingSpark sbt package 为了模拟实时日志事件,我们将使用一个称为的应用程序 cd /opt/ git clone https://github.com/cloudwicklabs/generator.git cd generator sbt assembly 启动一个zookeeper服务器实例,kafka需要: cd ${KAFKA_HOME} bin/zookeeper-server-start.sh con
【文件预览】:
LogEventsProcessingSpark-master
----project()
--------plugins.sbt(55B)
----src()
--------main()
----lib()
--------zkclient-0.3.jar(63KB)
--------cassandra-driver-core-2.0.1.jar(508KB)
--------kafka_2.10-0.8.0.jar(2.44MB)
--------spark-streaming_2.10-0.9.1.jar(813KB)
--------spark-streaming-kafka_2.10-0.9.1.jar(36KB)
--------spark-core_2.10-0.9.1.jar(4.28MB)
----run.sh(3KB)
----build.sbt(1KB)
----ReadMe.md(3KB)
----.gitignore(63B)