文件名称:data-pipeline-storm:使用 Apache Storm 和 Trident 将事件中心流转换为大块 blob
文件大小:67KB
文件格式:ZIP
更新时间:2024-07-09 21:59:46
Java
数据管道指南(使用 Apache Storm) 该项目侧重于将 Apache Storm/Trident 与 Java 结合使用。 有关在没有Storm 的情况下使用 .NET 的指南,请参阅随附的。 概述 该项目的两个主要问题是: 促进数据的冷存储以供以后分析。 也就是说,将繁琐的事件流转换为大块的blob。 演示如何使用 OpaqueTridentEventHubSpout 和 Apache Storm/Trident 将 Microsoft Azure Eventthub 消息存储到 Microsoft Azure Blob 一次。 下一步 积压 Performance Resut : 性能测试结果将在我们完成性能测试后发布。 使用 Zookeeper 存储状态:当前示例将状态存储在 Redis 缓存中。 我们计划用 Zookeeper 替换它。
【文件预览】:
data-pipeline-storm-master
----.gitattributes(2KB)
----LICENSE.txt(1KB)
----src()
--------eventhub-blobwriter()
--------SendEvents()
----CONTRIBUTING.md(1KB)
----README.md(1KB)
----docs()
--------architecture.png(20KB)
--------DesignConsiderations.md(23KB)
--------ArchitectureOverview.md(8KB)
--------GettingStarted.md(13KB)
--------step-by-step-walkthrough.md(9KB)
----.gitignore(3KB)