1月6日,Confluent宣布已经签署了一份最终协议,收购Apache Flink的主要贡献者Immerok,不过该交易的财务条款没有披露。
现代数据栈正在向着实时化发展,从而带来更新鲜的数据和更快的洞察力。这涉及流数据以及流处理应用程序,流处理应用程序以近实时的方式处理数据。例如,一个网络安全工具可能以近乎实时的方式处理漏洞警报,以加快对恶意软件的检测。相比之下,许多传统的应用程序只能在新信息产生后的几个小时或几天内进行分析。
Apache Kafka和Apache Flink是现代实时数据栈的重要组成部分,为了近实时地处理数据,流处理应用程序必须在数据产生后立即收集该数据。许多组织使用Apache Kafka的开源工具来进行数据收集过程。位于加州山景城的Confluent公司开发了最受欢迎的Kafka商业版本。
在流处理应用程序收集到新的数据点后,必须即时地处理它们,以避免延误实时分析工作。在许多情况下,处理必须在几分之一秒内完成。Immerok开发了Apache Flink 云服务Immerok Cloud ,使应用程序更容易具备近实时分析数据的能力。据Immerok称,该服务可以自动完成常见的维护任务,如随着用户需求的变化增加和删除基础设施资源。
Confluent联合创始人兼首席执行官Jay Kreps说,Flink越来越受欢迎,Confluent客户的采用率也越来越高,这也是这次收购的决定因素,“Flink拥有最好的多语言支持,对SQL、Java和Python有一流的支持。它有一个原则性的处理模型,可以泛化批处理和流处理。它有一个很棒的状态管理和容错模型。”最重要的因素可能是Flink有一个不断发展的社区,“我们相信Flink是流处理的未来。”
的确,虽然今天存在许多不同的流处理技术,但开发人员越来越多地转向Flink。除了性能和功能的因素外,Flink拥有一个非常强大的开发者社区,并支持Uber、苹果、Netflix和高盛等创新公司的关键任务用例。
Apache Flink得到了Aiven和Ververica等商业公司的支持。Ververica的前身是DataArtisans,在2019年被阿里巴巴以1.03亿美元收购。DataArtisans的创始人是Flink的原始创造者,其中许多人在2022年离开Ververica,加入Immerok。Kreps看好这次收购,他相信Immerok围绕Flink的知识将使Kafka和Flink能够无缝协作,就像数据库的查询和存储层那样。
有了Immerok,Confluent计划加快推出云原生Apache Flink产品,该产品与Confluent Cloud兼容。由于Confluent上有Flink、Kafka Streams和ksqlDB产品,预计客户很快就可以使用这三个流处理工具,提升实时数据处理能力。
据Kreps介绍,Confluent将在今年晚些时候推出其Flink产品的第一个版本,并将从SQL支持开始,最终扩展到整个Confluent平台。计划在2023年对Confluent Cloud的Flink产品进行公开预览。
在一个实时数据栈的架构图中,Kafka+Flink是一个比较常见的组合,Kafka分发系统有近实时地收集数据的能力,Flink快速处理这些数据。在实时分析越来越重要的今天,变革可能比我们想象的要快,面向云原生以及实时分析,Confluent正加快步伐。不过,收购之后双方能否在团队、产品等方面高效整合才是关键,如此才能发挥出1+1>2的效果。
参考链接:
https://www.datanami.com/2023/01/06/confluent-to-develop-apache-flink-offering-with-acquisition-of-immerok/