GobblinParquet:在基于Gobblin的HDFS上添加对实木复合地板的支持

时间:2021-05-06 17:00:19
【文件属性】:
文件名称:GobblinParquet:在基于Gobblin的HDFS上添加对实木复合地板的支持
文件大小:203.14MB
文件格式:ZIP
更新时间:2021-05-06 17:00:19
HTML 哥布林 Gobblin是一个通用的数据摄取框架,用于从各种数据源(例如数据库,REST API,FTP / SFTP服务器,文件管理器等)提取,转换和加载大量数据到Hadoop上。 Gobblin处理所有数据提取ETL所需的常见例行任务,包括作业/任务调度,任务分区,错误处理,状态管理,数据质量检查,数据发布等。Gobblin在同一执行框架中从不同数据源提取数据,并一站式管理不同来源的元数据。 结合其他功能,例如自动可伸缩性,容错能力,数据质量保证,可扩展性以及处理数据模型演变的能力,使Gobblin成为易于使用,自我服务且高效的数据提取框架。 文献资料 在查看Gobblin文档。 入门 建筑物地精 下载或克隆Gobblin存储库(例如,复制到/path/to/gobblin ),然后运行以下命令: $ cd /path/to/gobblin $ ./gradlew clean bui

网友评论