来源:WeDataSphere
Apache 软件基金会(ASF)于2022年12月03日,通过了 Apache Linkis 计算中间件项目的孵化毕业投票。2023年01月18日,Apache 软件基金会官方宣布 Apache Linkis 顺利毕业,成为 Apache *项目(TLP)。
Apache Linkis 计算中间件项目,是由微众银行大数据平台团队在2019年7月进行开源,并于2021年8月正式捐献给全球*开源社区 Apache 软件基金会(ASF),成为 ASF 孵化项目,在2022年12月03日通过孵化毕业投票。
Apache Linkis 在上层应用程序和底层引擎之间构建了一层计算中间件。通过使用 Linkis 提供的 REST/JDBC/Shell 等标准接口,上层应用可以方便地连接访问 MySQL/Spark/Hive/Trino/Flink 等底层引擎,同时实现变量、脚本、函数和资源文件等用户资源的跨上层应用互通,以及通过 REST 标准接口提供了数据源管理和数据源对应的元数据查询服务。作为计算中间件,Linkis 提供了强大的连通、复用、编排、扩展和治理管控能力。通过计算中间件将应用层和引擎层解耦,简化了复杂的网络调用关系,降低了整体复杂度,同时节约了整体开发和维护成本。
自开源以来,开源社区群用户总数超 7600人,沙箱累计试用公司超 2600家,收到超过 110家企业已投入生产的反馈,生产环境支撑的数据量超 400PB,生产服务的用户超 5000人,涉及金融、电信、制造、互联网等多个行业。许多公司已经用 Linkis 来解决大数据平台连通、扩展、管控、编排等计算治理问题。
在一年多的孵化期间,Apache Linkis 由社区开发者主导发布了7个 Apache 版本,平均约两个月就会发布一个版本;新加入了4个 PPMC 和13个 Committers,来自不同的公司和团队,贡献人数达到127人。Apache Linkis 社区各项指标发展良好,项目已经趋于成熟, Apache Linkis 顺利通过 ASF 项目管理委员会的毕业评估和投票,毕业晋升为 Apache 基金会*项目。
二、Apache Linkis 的核心功能点以及 Roadmap
通过使用 Linkis,上层应用工具如批量系统可以把 Linkis 作为统一的网关或者 JobServer 来提交批量任务;数据分析工具可以利用 Linkis 的交互式任务的能力实时获取日志、结果集、进度信息等能力。集成了 Linkis 的工具可以做到互联互通,在不同的工具中可以使用同一个定义的 UDF、数据源、物料等。
接入了 Linkis 的上层应用工具都可以拥有以下核心功能特性:
丰富的底层计算存储引擎支持:Spark、Hive、Flink、Python、Sqoop、OpenLooKeng、Presto、Trino、ElasticSearch、JDBC、SeaTunnel 和 Shell 等;
丰富的语言支持:SparkSQL、HiveQL、Python、Shell、Pyspark、Scala、JSON 和 JAVA 等;
强大的计算治理能力:能够提供基于多级标签的任务路由、负载均衡、多租户、流量控制、资源控制等能力;
全栈计算存储引擎架构支持:能够接收、执行和管理针对各种计算存储引擎的任务和请求,包括离线批量任务、交互式查询任务、实时流式任务和数据湖任务;
统一上下文服务:支持跨用户、系统、计算引擎去关联管理用户和系统的资源文件(JAR、ZIP、Properties 等),结果集、参数变量、函数、UDF 等,一处设置,处处自动引用;
统一物料:提供了系统和用户级物料管理,可分享和流转,跨用户、跨系统共享物料;
统一数据源管理:提供了 Hive、ElasticSearch、Mysql、Kafka、MongoDB 等类型数据源信息的增删查改、版本控制、连接测试和对应数据源的元数据信息查询能力;
-
错误码能力:提供了任务常见错误的错误码和解决方案,方便用户自助定位问题;
从孵化器毕业也证明了 Linkis 项目和社区进一步走向成熟,但是要成为一个世界*的计算中间件项目还有很多的事情要做。Linkis 社区整理了一份 Roadmap ,欢迎大家参与一起贡献。部分重大特性如下:
三、Apache Linkis 生态
Linkis 作为计算中间件,也积极推动与多个开源社区的项目进行集成,以丰富 Linkis 的生态。下图是部分已经与 Linkis 集成的开源项目,涵盖了数据分析、工作流、数据交换、数据质量、机器学习、以及常用的计算和存储引擎等。上层应用工具通过 Linkis 提交和管理各类引擎的任务,把 Linkis 当成了一个开发基座。极大的降低了上层应用工具在连通、扩展、管控等计算治理方面的开发工作量,让上层应用工具只需专注于其自身的功能性需求。
未来我们也将进一步引导和推动更多的上层工具系统和底层引擎,去与 Linkis 对接集成,丰富 Linkis 的生态。欢迎越来越多的项目参与其中。
四、毕业寄语(按姓氏首字母排序)
恭喜 Apache Linkis 顺利毕业!一路走来,我有幸见证了 Linkis 社区的发展壮大,在开源大数据领域的影响力也与日俱增。希望 Apache Linkis 未来发展的越来越好,成为更有影响力的世界级开源项目!
Linkis 社区发展的非常繁荣,恭喜 Linkis 顺利从 Apache 孵化器毕业成为*项目,作为大数据领域优秀的计算中间件, Linkis 使得用户可以更加方便的通过 REST/JDBC 等标准接口来访问 Spark、Flink 等底层引擎。毕业是一段新旅程的开始,期待 Linkis 能发展得更好!Apache DolphinScheduler PMC Chair
感谢社区每一位成员的热情和贡献!我们通过对 "Apache Way" 的持续践行,形成了一个多样、有序,且能够推动项目不断进化的、富有生命力的社区。毕业只是新征程的开始,期待与大家一起,继续增强 Linkis 在连通、管控、编排、复用等数据平台计算治理方面能力,让大数据变得更简单。
祝贺 Apache Linkis 从 ASF 孵化器中毕业成为 Apache *项目。作为 Apache 孵化器导师,非常高兴能够看到 Apache Linkis 能够依托项目用户和开发者构建起健康发展的社群,并很好地践行 Apache Way。祝愿 Apache Linkis 茁壮成长,并与其他 Apache 大数据项目一同打造更加繁荣的开源大数据技术生态!
很高兴看到,从微众蹒跚起步的计算中间件 Linkis,能够通过开源,在 Apache Way 的指引和社区伙伴的共同培育下快速成长,走进各行各业,服务千百企业,并顺利毕业成为 Apache *项目。期望 Linkis 能够继续茁壮成长,在大数据开源领域能够发挥更大的价值。也期待更多的社区伙伴的参与,并涌现出更多优秀的开源项目,为基础软件开源的发展继续添砖加瓦。
恭贺 Apache Linkis 在 2022 年终岁末时,为源自中国的 Apache *项目再添一员强将(总共 20 个项目)。祝愿 Apache Linkis 计算治理的征程顺利开展,兼容并蓄的社区持续拓展!
衷心祝贺 Linkis 成功从 Apache 孵化器中毕业,成为 Apache *项目。作为微众银行主导开源和捐赠的优秀项目,计算中间件 Apache Linkis 经过金融级生产环境的持续打磨,和社区各行业贡献者的共同建设完善,已成为解决大数据平台计算治理问题的利器。未来,微众银行将一如既往支持开源社区建设,助力我国为全球基础软件的发展贡献关键力量。
作为 Apache Linkis 的重度用户,非常高兴看到它从 Apache 毕业,在这里表示由衷的祝福。我们从2020年开始关注并尝试在业务上使用它,目前已将大部分底层业务迁移到 Linkis 上管理。在此过程中得到了社区伙伴给与的大力支持,也贡献了自己的一份力量。毕业不是结束,是新的开始,还有很多工作等着我们去做。希望未来和社区伙伴一起将 Apache Linkis 做的更强大更完善。Apache Linkis Contributor
Apache Linkis 是2019年由微众银行开源并贡献给 Apache 软件基金会的一个大数据项目,Linkis 自开源之后,在业界引起了广泛关注。更难能可贵的是,围绕 Linkis 项目而形成的开发者社区非常活跃,目前已经有 23 位项目管理委员会成员、33 位代码 Committer 及超过127 位 Contributor,他们来自不同的地区和组织,自发地参与在项目中开发新特性、回答用户问题、修复 bug、发布版本等,呈现出良好的多样性和可持续性。在 2022 年 12月,Linkis 项目通过了 Apache 孵化器的项目成熟度评估以及投票,毕业成为又一个 Apache *项目。对 Linkis 来说,毕业不是终点,而只是一个里程碑。在 2023 年,希望 Linkis 社区能够继续秉承 The Apache Way 的理念,以 Community Over Code 的精神吸纳更多的用户和开发者,持续发展和壮大开源软件项目,使其最终能够惠及更多企业和个人用户。
很高兴看到微众银行捐献给 Apache 开源软件基金会的 Linkis 项目毕业成为 Apache 基金会的*项目。这证明项目发起人充分理解 Apache 基金会的价值观 Community Over Code,并遵循 Apache 社区的开放、透明、贤能治理的规则进行长期运作,社区成熟度得到了 Apache 软件基金会孵化委员会的一致认可。恭喜 Linkis 项目和团队,给大数据技术生态提供了一个值得长期信任的好项目,通过计算中间件将应用层和引擎层解耦,使得上层大数据应用编写更简单,更快速。
热烈庆祝 Linkis 从 Apache 孵化器毕业!Liniks 是一个 Hadoop 及相关生态圈“数据库”的计算中间件,是一个非常有意思而且很有价值的项目,在此,衷心祝愿 Apache LInkis 项目和社区发展越来越好!Apache Linkis Contributor
作为 Linkis 的用户和开发者,非常荣幸见证了 Linkis 从开源,到 Apache 孵化,再到最终的毕业,真的很不容易,也见证了中国开源力量的崛起。随着越来越多小伙伴的贡献, Linkis 已经越来越标准稳定了,期待更多小伙伴们加入有爱的 Linkis 社区,一起将社区建设得更好。
作为项目的 Mentor,非常高兴看到 Apache Linkis 成功毕业,成为 Apache *项目。Apache Linkis 的社区非常活跃,在孵化期间,始终维持着两个月一次的发版节奏,这在所有孵化项目中都非常难得,说明项目的参与人员都很活跃,且尽职尽责。祝 Apache Linkis 项目未来越来越好!
恭喜 Apache Linkis 从 Apache 毕业!我们从2021年开始关注并尝试应用于某些业务上,目前已有部分业务运行于 Linkis 上,现正着手于其它业务的迁移工作。非常感谢社区各位伙伴的耐心和帮助!成为*项目并不是结束,而是一个开始,衷心希望 Linkis 在未来得到更好的发展,并且帮助到更多的企业去构建大数据平台。
作为 Apache Linkis 最早投入到生产环境的忠实用户和开发者,非常开心见证了 Linkis 一步一步发展壮大,很荣幸能够为社区贡献一点绵薄之力。祝愿 Apache Linkis 社区发展越来越好,为大数据平台化贡献更大的价值,希望大家参与进来一起将 Linkis 建设的更好!
祝贺 Linkis 经过16个月的孵化,顺利从 Apache 孵化器毕业成为*项目。在孵化过程中,Linkis 社区始终遵循 Apache Way,采用开放、透明、包容的治理体系,建立了非常繁荣且多元化的开源社区。祝贺 Linkis 社区所有的贡献者和参与者,也祝愿 Linkis 开源项目能够发展越来越好!
五、期待你的加入
从 Apache 孵化器毕业只是一个开始,对于成为真正的*开源项目只是迈出了第一步。Linkis 社区将继续践行 Apache 的开源文化主旨,打造一个更加协作、开放、多元的社区。欢迎更多的组织和个人参与到 Apache Linkis 的建设中来,促进 Linkis 社区持续健康的发展。
六、Apache Linkis 官方链接
官网主页:
仓库地址:
订阅Linkis邮件列表:dev-subscribe@linkis.apache.org(发送任意内容到邮箱后,根据回复以订阅邮件列表 )