DTCC 2022 | 聚焦湖仓一体数据智能新趋势,助推大数据基础软件自主发展

时间:2022-12-21 16:10:45

DTCC 2022 | 聚焦湖仓一体数据智能新趋势,助推大数据基础软件自主发展

12月14日至16日,由IT168联合旗下ITPUB、ChinaUnix两大技术社区主办的第13届中国数据库技术大会,举行线上直播。大会以“数据智能 价值创新”为主题,邀请众多业内技术专家联手带来一场数据库的思想盛宴。


滴普科技作为湖仓一体数据智能基础软件独角兽,构建的核心产品FastData包含 实时湖仓引擎DLink、数据智能开发治理平台DataFacts以及数据分析平台DataSense,成为基础软件领域的典型产品。会上,FastData产品线DataFacts产品总经理刘波、DLink产品总经理冯森,分别围绕数据智能平台、实时湖仓引擎架构发表了主题演讲。

1

刘波:构建一站式数据智能开发治理平台

随着数字化转型的深入实践,很多企业都建设了数据平台,但大多存在着数据模型优化难、数据开发协同难、数据任务类型多、数据质量优化难、数据管理无体系等难点。在此背景下,刘波发表了《FastData DataFacts建设数据智能平台的实践》。

针对企业面临的痛点,滴普科技构建的数据智能开发治理平台DataFacts,主要面向PB级实时/离线数据开发、运维场景,可以提供集数据集成、数据建模、数据开发、 数据质量、数据服务、数据安全等能力于一体的一站式数据开发平台,屏蔽复杂的技术环节,在保证数据安全底线的基础上,让数据工程师专注于面向业务需求的数据开发,实现易用、便捷、安全的高质量数据生产能力。

面向企业数据资源散、乱、差等问题,DataFacts通过数据标准及规范、数据建模、数据质量、数据资源管理、及数据安全等能力,对企业数据资源进行统一的管理与运营,提升数据质量和运营效率,让数据可用、好用、易用。

值得注意的是,DataFacts不同于大多数据智能产品,它具备了实时高性能数据同步、技术兼容开放、云中立、生态开放、一站式数据开发等优势。尤其是云中立理念,可以兼容主流公有云,支持混合云环境,打通云壁垒,保障各云之间的数据一致性管理。

DTCC 2022 | 聚焦湖仓一体数据智能新趋势,助推大数据基础软件自主发展

DataFacts产品架构图

在刘波看来,企业数据智能平台在数据开发和数据服务环节必须让整个系统协同起来,贯穿数据资源化全流程,才能快速定位企业需求,帮助企业提升数据处理能力和数据管理能力的成熟度。DataFacts正是基于此产品理念,最终让企业数据智能平台建设快、门槛低,实现企业数据开发的专注高效、数据任务智能化监控,进而完成数据资产的标准化,让数据赋能业务。

2

冯森:湖仓一体架构支撑企业构建数据基础底座

当然,数据智能开发治理平台想要实现统一调度任务,必须拥有大数据底座或对应的数仓来支撑,滴普科技构建的实时湖仓引擎DLink便是其中之一。就此,冯森分享了湖仓一体架构数据智能技术趋势,并发表了《FastData DLink 实时湖仓引擎的架构设计与实践》主题演讲。


冯森表示,随着数据量的极速攀升、数据类型的多样性变化,以MPP、Hadoop/数据湖为代表的传统技术栈,已无法满足企业复杂数据实时智能化处理需求。而湖仓一体数据架构的平台吸收了数据湖与数仓的优点,可以支持多种数据类型及各种各样的工作负载,适应大型企业多级+多租户的数据场景,正成为新的数据平台技术发展趋势。


作为数据智能服务商,滴普科技打造的实时湖仓引擎DLink,基于Iceberg、Trino、Flink技术栈实现功能优化,具备整库数据入湖、全链路CDC、统一元数据服务、数据缓存、数据权限控制、物化视图、表自动运维、多租户和多湖管理等核心功能,支持流批一体数据处理、数据分析、机器学习等多工作负载,及PB级多模数据存储与处理,无缝连接大数据生态,提供一站式数据探索与数据开发能力。

DTCC 2022 | 聚焦湖仓一体数据智能新趋势,助推大数据基础软件自主发展

DLink产品架构图
3

聚焦湖仓一体数据智能基础软件,助推大数据基础软件国产化

目前,FastData已实践于数据智能基础设施、供应链数智化、经营财务、营销运营、工业生产等典型场景,成功服务200余家大中型企业,帮助大型国央企完善数据基础设施建设,全面实现国产化。


当下,基础软件国产化替代趋势正在加速发展,未来,滴普科技将持续发挥湖仓一体数据智能基础软件优势,结合企业国产化替代需求,赋能企业业务创新增长,实现数据资产价值的最大化效能,助推大数据国产基础软件生态体系高质量发展。