hudi:大数据的增量和增量处理

时间:2021-02-16 22:29:00
【文件属性】:
文件名称:hudi:大数据的增量和增量处理
文件大小:5.86MB
文件格式:ZIP
更新时间:2021-02-16 22:29:00
Java 阿帕奇·胡迪 Apache Hudi(发音为Hoodie)代表Hadoop Upserts Deletes and Incrementals 。 Hudi管理DFS(云存储,HDFS或任何Hadoop FileSystem兼容存储)上的大型分析数据集的存储。 特征 支持快速插入索引的Upsert 通过回滚支持以原子方式发布数据 作者与查询之间的快照隔离 数据恢复的保存点 使用统计信息管理文件大小,布局 行和列数据的异步压缩 时间轴元数据以跟踪血统 通过聚类优化数据湖布局 Hudi支持三种查询类型: 快照查询-使用基于列和基于行的存储(例如 + )的组合,提供实时数据的快照查询。 增量查询-为变更流提供在某个时间点后插入或更新的记录。 读取优化查询-通过纯列存储(例如 )提供出色的快照查询性能。 通过了解有关Hudi的更多信息 从源代码构建Apache Hudi 构建Apach

网友评论