hudi:大数据的增量和增量处理

时间:2024-03-08 16:15:40
【文件属性】:

文件名称:hudi:大数据的增量和增量处理

文件大小:5.86MB

文件格式:ZIP

更新时间:2024-03-08 16:15:40

Java

阿帕奇·胡迪 Apache Hudi(发音为Hoodie)代表Hadoop Upserts Deletes and Incrementals 。 Hudi管理DFS(云存储,HDFS或任何Hadoop FileSystem兼容存储)上的大型分析数据集的存储。 特征 支持快速插入索引的Upsert 通过回滚支持以原子方式发布数据 作者与查询之间的快照隔离 数据恢复的保存点 使用统计信息管理文件大小,布局 行和列数据的异步压缩 时间轴元数据以跟踪血统 通过聚类优化数据湖布局 Hudi支持三种查询类型: 快照查询-使用基于列和基于行的存储(例如 + )的组合,提供实时数据的快照查询。 增量查询-为变更流提供在某个时间点后插入或更新的记录。 读取优化查询-通过纯列存储(例如 )提供出色的快照查询性能。 通过了解有关Hudi的更多信息 从源代码构建Apache Hudi 构建Apach


网友评论