文件名称:samza-scala-example-project:用Scala编写的Apache Samza流处理作业
文件大小:922KB
文件格式:ZIP
更新时间:2024-05-25 18:47:29
Scala
[![Release] ][ ] 介绍 这是用Scala为[Apache Samza] 框架编写的简单流处理作业([介绍性博客文章] ),处理来自[Apache Kafka] 主题的JSON事件,并定期向第二个Kafka主题发出聚合。 它由[Snowplow Analytics] 的数据工程团队构建,作为将[Snowplow Enrichment] enrich流程(用Scala编写)移植到Samza的概念证明。 灵感与功劳 该项目大量借鉴了Snowplow编写的各种写入分析示例项目: [火花流示例项目] [AWS Lambda Scala示例项目] [AWS Lambda Node.js示例项目] 本自述文件中有关Samza,YARN和Kafka入门的教程资料摘自Alex Dean的[Unified Log Processing] 书的第2-4章。 打包我们的Samza
【文件预览】:
samza-scala-example-project-master
----.gitignore(138B)
----README.md(10KB)
----Vagrantfile(713B)
----docs()
--------job-flow.png(275KB)
--------yarn-cluster.png(666KB)
----src()
--------main()
----deploy()
--------samza()
----vagrant()
--------etc()
--------.gitignore(40B)
--------ansible.hosts(25B)
--------up.playbooks(70B)
--------grid(6KB)
--------up.bash(2KB)
--------up.guidance(49B)
--------peru.yaml(496B)
----LICENSE-2.0.txt(11KB)
----CHANGELOG(70B)
----project()
--------SamzaScalaExampleProjectBuild.scala(2KB)
--------plugins.sbt(107B)
--------BuildSettings.scala(1KB)
--------Tasks.scala(2KB)
--------Dependencies.scala(2KB)
--------build.properties(19B)