Apache Beam正式成为Apache的*项目

时间:2022-10-29 15:38:43

Apache Beam正式成为Apache的*项目

Apache软件基金会在昨天正式宣布Apache Beam从孵化项目毕业,成为Apache的*项目:Apache Beam established as a new top-level project

目前Apache Beam的最新版本是0.4.0,可以在下载页面进行下载。

Beam是一个开源的、为数据处理框架提供统一的编程模型的SDK,即Beam SDK。目前支持Java SDK,python SDK目前处于开发当中。其社区由Google主导开发。Google自从决定开源其SDK项目,就标志着其在大数据处理领域要往开源这条路上发力。

Beam仅仅是一个SDK,是一个应用顶层的API,那么它下层支持的数据处理框架(官方叫做Apache Beam Pipeline Runners)主要包括Apache Apex,Apache Flink,Apache Spark以及它自己的Google Cloud Dataflow。

关于Beam的具体介绍,可以查看其官方文档

因为没有实际用过Apache Beam,因此没有太多的内容可说。只是觉得Flink在流计算的道路上,应该把它的价值淋漓尽致的体现出来,让更多的公司有决心尝试和使用Flink框架,这也许需要一段时间的积累以及类似阿里这样的企业的推广。

参考

Beam overview
Using the Apache Flink Runner
Beam Capability Matrix
2016美国QCon看法:在Beam上,我为什么说Google有统一流式计算的野心
如何看待Google向Apache基金会提交的Beam(Dataflow)提案?
专题: 大数据实时计算与流处理 : 2017年4月16日~18日