文件名称:Beam:Apache Beam是用于批处理和流传输的统一编程模型
文件大小:59.14MB
文件格式:ZIP
更新时间:2024-02-20 09:00:47
python java golang streaming sql
阿帕奇光束 是用于定义批处理和流数据并行处理管道的统一模型,以及用于构建管道的一组特定于语言的SDK和用于在分布式处理后端(包括 , , 执行它们的Runner的集合和 。 状态 提交后测试状态(在主分支上) 郎郎 开发包 数据流 Flink 萨姆扎 火花 Twister2 走 --- --- --- Java Python --- --- ang --- --- 总览 Beam提供了一种通用的方法来表达数据处理管道,并支持三类用户,每种用户都有相对不同的背景和需求。 最终用户:使用现有的SDK编写管道,并在现有的运行程序上运行它。 这些用户希望专注于编写其应用程序逻辑,并使其他所有功能正常工作。 SDK编写者:开发针对特定用户社区(Java,Python,Scala,Go,R,图形等)的Beam SDK。 这些用户是语言极客,他们希望不受各种运行器及其实现的所有细节的影响。 Runner Writer :具有用于分布式处理的执行环境,并且希望支持针对Beam模型编写的程序。 希望不受多个SDK细节的影响。 梁模型 Beam背后的模型