Debezium发布历史78

时间:2024-01-21 16:55:48

原文地址: https://debezium.io/blog/2019/12/18/debezium-1-0-0-final-released/

欢迎关注留言,我是收集整理小能手,工具翻译,仅供参考,笔芯笔芯.

现已直播 - Debezium 1.0 Final 已出炉
十二月 18, 2019 作者: Gunnar Morling
发布 mysql postgres sqlserver mongodb cassandra oracle
今天我很高兴地宣布 Debezium 1.0.0.Final可用!

自2015 年 11 月首次提交以来,Debezium 社区一直在不懈努力,以实现为各种数据库构建变更数据捕获 (CDC) 的综合开源低延迟平台的愿景。

在这四年里,Debezium 的功能集得到了巨大的发展:适用于 MySQL、Postgres、MongoDB 和 SQL Server 的稳定、高度可配置的 CDC 连接器、适用于 Apache Cassandra 和 Oracle 的孵化连接器、用于转换和路由变更数据事件的设施、对设计模式的支持,例如作为发件箱模式等等。围绕该项目形成了一个由用户、贡献者和提交者组成的非常活跃和热情的社区。Debezium 已部署到各行各业的许多组织的生产中,其中一些组织的安装量很大,使用数百个连接器从数千个数据库中传输数据更改。

1.0 版本标志着该项目的一个重要里程碑:根据我们从 0.x 版本用户那里获得的所有生产反馈,我们认为是时候在版本号中表达四个稳定连接器的成熟度了。

为什么是黛比修姆?
使用 Debezium 作为变更数据捕获工具如此令人愉快的原因之一是潜在用例的多样性。在会议上展示该项目时,很高兴看到人们在意识到 Debezium 和 CDC 实现的所有可能性时如何迅速兴奋起来。

简而言之,Debezium 是让您以低延迟对数据变化做出反应的一大推动者。或者,正如一位与会者最近所说的那样,它“就像观察者模式,但适用于您的数据库”。

以下是我们看到 Debezium 被用作数据流管道中的摄取组件的一些内容:

将数据从生产数据库复制到其他数据库和数据仓库

将数据提供给 Elasticsearch 或 Apache Solr 等搜索服务

更新或使缓存失效

当 Debezium 与 A​​pache Kafka 及其丰富的接收器连接器生态系统一起使用时,无需任何编码即可设置此类集成,只需在 Kafka Connect 中部署和配置连接器即可:
在这里插入图片描述

使用 Debezium 的数据流管道
但是 CDC 还有许多其他用例,不仅仅是将数据从 A 移动到 B。当将流处理添加到图片中时,例如通过 Kafka Streams 或 Apache Flink,CDC 使您能够运行时间窗口流查询,并不断更新为您的运营数据发生变化(“过去一小时内每个类别的合计订单收入是多少”)。您可以使用 CDC构建数据审核日志,告诉谁在何时更改了哪些数据项。或者更新数据的非规范化视图,以实现高效的数据检索,并遵循 CQRS 模式(命令查询职责分离)。

最后,CDC还可以在微服务架构中发挥至关重要的作用;在服务之间交换数据并保留其他服务拥有的数据的本地视图实现了更高的独立性,而不必依赖同步 API 调用。在这种情况下,一种特别有趣的方法是发件箱模式,Debezium 对此提供了很好的支持。如果您不是从新手开始(谁曾经这样做过?),CDC 可用于实现从整体设计转向微服务的扼杀者模式。

您可以在旧金山 QCon 的演示中了解有关 Debezium 和 Apache Kafka 变更数据捕获用例的更多信息。

但您不必相信我们的话:您可以在我们的资源汇编中找到大量在生产中使用 Debezium 的人们所撰写的博客文章、会议演讲和示例。如果您想了解还有谁已经在使用 Debezium,请查看我们快速增长的参考用户列表(或者,如果您的组织已经在生产中运行 Debezium,请向我们发送拉取请求以添加您的名字)。

黛比西姆 1.0
现在,我们来谈谈1.0版本的内容。

此版本延续了我们在0.10中开始的努力,以确保连接器的发出事件结构和配置选项正确且一致。虽然我们一直非常小心地确保流畅的升级体验,但在 1.0 版本发布后,您可以期待这方面的稳定性更高。

我们扩大了数据库的测试覆盖范围(Postgres 12、SQL Server 2019、MongoDB 4.2),将容器映像升级到 OpenJDK 11,现在针对最新版本的 Apache Kafka(2.4.0;继续支持早期版本,也)。最后但并非最不重要的一点是,我们还修复了大量错误。总体而言, Debezium 1.0 及其预览版( Beta1、Beta2、Beta3、CR1 )解决了96 个问题。

如果您现在使用的是 0.10,则升级主要是直接替代。当来自早期版本时,请务必阅读迁移说明,以了解已弃用的选项、升级过程等。

最重要的部分:Debezium 社区
如果没有贡献者和用户社区,Debezium 就不可能存在。我无法表达我是多么感激有机会成为这个出色社区的一员,与来自世界各地的人们互动和合作,以实现我们构建领先的变更数据捕获开源解决方案的共同目标。

目前,大约有 150 人为不同的 Debezium 代码存储库做出了贡献(如果我遗漏了任何人,请告诉我):

亚伦·罗森伯格、艾迪生·海厄姆、阿德里安·克鲁齐格、阿克沙斯·帕特卡、亚历山大·科夫里加、阿米特·塞拉、安德烈亚斯·伯格梅尔、安德拉斯·伊斯特万·纳吉、安德鲁·加勒特、安德鲁·通根、安德烈·普斯托维托夫、安东·马丁诺夫、Arkoprabho Chakraborti、artiship、Ashhar Hasan、Attila Szucs、Barry LaFond , Bartosz Miedlar, Ben Williams, 李斌, 周冰琴, Braden Staudacher, Brandon Brown, Brandon Maguire, Cheng Pan, Ching Tsai, Chris Cranford, Chris Riccomini, Christian Posta, Chuck Ha, Cliff Wheadon, Collin Van Dyck, Cyril Scetbon,大卫·陈、大卫·范布卢姆、大卫·莱博维奇、大卫·萨博、迪帕克·巴尔、丹尼斯·米哈伊洛夫、丹尼斯·坎帕尼亚、丹尼斯·佩尔森、邓肯·桑兹、Echo Xu、埃罗·科普利梅茨、Emrul Islam、埃里克·S·克莱塞尔、埃文·切斯莱克-波斯塔瓦、菲利克斯·埃克哈特、加根阿格拉瓦尔、格兰特·库克西、纪尧姆·罗萨罗、古纳尔·莫林、古尔纳兹·兰达瓦、格热戈日·科拉科夫斯基、汉斯-彼得·格拉斯尔、亨里克·孔塞克、霍里亚·基奥里安、伊恩·阿克塞尔罗德、伊利亚·博格丹诺夫、伊万·科夫巴斯、伊万·洛伦茨、伊万·卢齐亚宁、伊万·圣何塞、伊万·武西纳、雅库布·切查切克、贾罗米尔·哈马拉、哈维尔·霍尔格拉、杰里米·芬泽尔、吉里·佩查内克、约翰·维南特, 约翰·马丁, 乔恩·卡斯史蒂文斯, 乔丹·布拉格, 约克·齐尔斯特拉, 乔什·阿伦伯格, 乔什·斯坦菲尔德, 高伊, Jure Kajzer, 基思·巴伯, 凯文·普林, 赵克文, 克里赞·马里亚姆皮莱, 里奥·梅, 列夫·泽姆利亚诺夫, 利斯特曼·甘博亚, 刘汉林, 路易斯Garcés-Erice、Maciej Bryński、潘茂翔、Mario Mueller、Mariusz Strzelecki、Matteo Capitanio、Mathieu Rozieres、Matthias Wessendorf、Mike Graham、Mincong Huang、Moira Tagle、Muhammad Sufyian、Navdeep Agarwal、Nikhil Benesch、Olavi Mustanoja、Oliver Weiler、Olivier勒马勒、奥马尔·萨菲、奥里·波波夫斯基、奥尔·加纳尼、彭·吕、彼得·戈兰森、彼得·拉尔森、菲利普·萨内特拉、普拉迪普·马米拉帕利、普拉诺·米塔尔、普雷蒂·萨达戈潘、普什帕凡塔、拉夫·利沃赫、拉姆·萨蒂什、拉梅什·雷迪、兰德尔·豪奇、雷纳托·梅菲、罗曼·库查尔、萨加尔·拉奥、雷内·科纳、里奇·奥康奈尔、罗伯特·考普、塞拉姆·波拉瓦拉普、桑杰·克尔·辛格、 Sanne Grinovero、Satyajit Vegesna、Saulius Valatka、Scofield Xu、Sherafudheen PM、Shivam Sharma、Shubham Rawat、Stanley Shyiko、Statis Souris、Stephen Powis、Steven Siahetiong、Syed Muhammad Sufyian、Tautvydas Januskevicius、Taylor Rolison、Theofanis Despoudis、Thomas Deblock、Tom Bentley、Tomaz Lemos Fernandes、Tony Rizko、Wang-Yu-Chao、Wei Wu、WenZe Hu、William Pursell、Willie Cheong、Wout Scheepers、Yang Yang、Zheng WangSairam Polavarapu, Sanjay Kr Singh, Sanne Grinovero, Satyajit Vegesna, Saulius Valatka, Scofield Xu, Sherafudheen PM, Shivam Sharma, Shubham Rawat, Stanley Shyiko, Stathis Souris, Stephen Powis, Steven Siahetiong, Syed Muhammad Sufyian, Tautvydas Januskevicius, Taylor Rolison, Theofanis Despoudis、Thomas Deblock、Tom Bentley、Tomaz Lemos Fernandes、Tony Rizko、王玉超、吴伟、胡文泽、William Pursell、Willie Cheong、Wout Scheepers、Yang Yang、Zheng WangSairam Polavarapu, Sanjay Kr Singh, Sanne Grinovero, Satyajit Vegesna, Saulius Valatka, Scofield Xu, Sherafudheen PM, Shivam Sharma, Shubham Rawat, Stanley Shyiko, Stathis Souris, Stephen Powis, Steven Siahetiong, Syed Muhammad Sufyian, Tautvydas Januskevicius, Taylor Rolison, Theofanis Despoudis、Thomas Deblock、Tom Bentley、Tomaz Lemos Fernandes、Tony Rizko、王玉超、吴伟、胡文泽、William Pursell、Willie Cheong、Wout Scheepers、Yang Yang、Zheng Wang威廉·珀塞尔、Willie Cheong、Wout Scheepers、杨阳、王政威廉·珀塞尔、Willie Cheong、Wout Scheepers、杨阳、王政

你们太棒了,我衷心感谢你们每一个人!我确信我们的社区未来将继续发展 - 如果我们在 2020 年达到 200 名贡献者的目标,我会很高兴。

同样重要的是我们的用户;在聊天、邮件列表或会议和聚会中与您互动有助于推动项目的方向:了解您的具体需求和用例(或您遇到的错误)对于做出决定至关重要接下来将焦点放在哪里。也非常感谢你!

你们中的一些人甚至在会议演讲和博客文章中分享了他们使用 Debezium 的经验。没有什么比聆听他人的战争故事并能够从他们的经历中学习更好的了,因此您谈论您对 Debezium 和 CDC 的见解非常有帮助,并且受到高度赞赏!

下一步是什么?
让我们来结束这篇文章,看看 Debezium 接下来会发生什么。

经过一些迟来的假期后,我们计划在一月份开始 Debezium 1.1 的工作。您可以期待的一些潜在功能是:

支持 CloudEvents 规范作为便携式事件格式

用于实现发件箱模式的 Quarkus 扩展

独立的 Debezium 服务器可让您将数据更改事件流式传输到 Amazon Kinesis 等消息传递基础设施

在单独主题上公开事务边界的方法,允许聚合源自一个源事务的所有事件并立即处理它们

孵化社区主导的 Oracle 和 Apache Cassandra 连接器的进一步进展

当然,这个路线图深受社区(即您)的影响。因此,如果您想在这里查看任何特定项目,请告诉我们。

我们还有一些令人兴奋的博客文章,例如关于如何将 Debezium 与A​​pache Camel 的全新 Kafka Connect 连接器相结合,或者如何使用 Kafka Streams ( KIP-213 )中最近添加的非键连接支持Debezium 变更事件。

另一件令我超级兴奋的事情是 Debezium 成为红帽集成产品的受支持组件。当前版本的一部分是针对 MySQL、Postgres、SQL Server 和 MongoDB 的变更数据捕获连接器的技术预览。对于那些希望获得红帽为其 CDC 连接器提供商业支持的人们来说,这是个好消息。

现在,让我们庆祝 Debezium 1.0 的发布,并期待 2020 年的发展。

继续前进!