文件名称:summer-school:为EIT ICT实验室关于云和大数据的暑期学校创建的演示,斯德哥尔摩,2015年
文件大小:33KB
文件格式:ZIP
更新时间:2024-06-06 07:39:36
Scala
Flink,Kafka和Python的流处理示例 该存储库包含用于简单流传输管道的组件: 生成数据并将其写入Apache Kafka 使用Apache Flink处理从Kafka生成的数据 将结果写回Kafka进行进一步处理 使用Ipython Notebook分析来自Kafka的结果 问题和反馈可以发送到 描述 在这个非常简单的示例中,我们将分析以流方式为欧洲城市生成的温度数据。 数据以简单的字符串形式生成,格式为: "City, Temperature" "Budapest, 30", "Stockholm, 20", "Budapest, 32" … 我们的目标是连续分析传入的数据,并在有新数据可用时更新我们的统计信息。 我们使用一个生成随机温度,该将其直接写入Kafka,以便进行处理。 然后,我们使用执行以下处理步骤: 将传入的String解析到Scala案例类Tem
【文件预览】:
summer-school-master
----flink()
--------pom.xml(5KB)
--------src()
--------.gitignore(170B)
----python()
--------KafkaExample.ipynb(35KB)
----LICENSE(11KB)
----.gitignore(38B)
----README.md(5KB)