文件名称:GobblinParquet:在基于Gobblin的HDFS上添加对实木复合地板的支持
文件大小:203.14MB
文件格式:ZIP
更新时间:2024-05-26 10:46:59
HTML
哥布林 Gobblin是一个通用的数据摄取框架,用于从各种数据源(例如数据库,REST API,FTP / SFTP服务器,文件管理器等)提取,转换和加载大量数据到Hadoop上。 Gobblin处理所有数据提取ETL所需的常见例行任务,包括作业/任务调度,任务分区,错误处理,状态管理,数据质量检查,数据发布等。Gobblin在同一执行框架中从不同数据源提取数据,并一站式管理不同来源的元数据。 结合其他功能,例如自动可伸缩性,容错能力,数据质量保证,可扩展性以及处理数据模型演变的能力,使Gobblin成为易于使用,自我服务且高效的数据提取框架。 文献资料 在查看Gobblin文档。 入门 建筑物地精 下载或克隆Gobblin存储库(例如,复制到/path/to/gobblin ),然后运行以下命令: $ cd /path/to/gobblin $ ./gradlew clean bui