文件名称:streamline-hackathon-boilerplate:2018简化黑客马拉松样板
文件大小:47KB
文件格式:ZIP
更新时间:2024-05-29 13:08:29
Java
简化GDELT 1.0事件数据库的Hackathon样板 该存储库包含用于Apache Flink和Apache Spark的样板Java / Scala代码,用于解析和流式传输GDELT 1.0事件数据库[1]。 它还包括有关数据的简单聚合示例。 运行样板(选项1) 您可以从您最喜欢的IDE中运行代码。 您只需要选择一个具有静态main方法的类作为入口点即可。 无论使用Flink还是Spark,选定的处理引擎都将作为内部组件启动。 建议将此方法用于开发和测试目的。 运行样板(选项2) 您应该将作业部署在计算机上启动的本地Flink / Spark群集上。 为此,您首先需要通过在此存储库的根目录上执行来编译代码: mvn clean package Apache Flink 之后,您需要将作业提交给Flink Job Manager。 请确保已在计算机上运行Flink的独立(或群集
【文件预览】:
streamline-hackathon-boilerplate-master
----hackathon-spark-java()
--------pom.xml(10KB)
--------src()
----hackathon-common()
--------pom.xml(626B)
--------src()
----pom.xml(8KB)
----hackathon-flink-scala()
--------pom.xml(12KB)
--------src()
----hackathon-flink-java()
--------pom.xml(10KB)
--------src()
----.gitignore(362B)
----hackathon-spark-scala()
--------pom.xml(10KB)
--------src()
----README.md(4KB)