文件名称:ezbake-batch:EzBake 的 Amino 实现
文件大小:73KB
文件格式:ZIP
更新时间:2024-06-22 03:36:40
Java
实现数据加载器 EzBake 生态系统中的批量数据驻留在 Warehaus 中。 为了对 Ezbake 中的数据运行 Amino 分析,开发人员必须编写几个类来处理存储在 Warehaus 中的数据。 以下是处理数据以创建 Amino 块所需的内容。 注意:将来,将有一个archetype来帮助促进此过程的创建 数据加载器组件 本文档意义上的“数据加载器”实际上由 3 个不同的部分组成 - 用于加载数据和进行 Amino 分析的 MapReduce 作业,用于处理 Warehaus 中数据的数据加载器本身,以及用于提取 Amino 的 Reducers分析。 这些可以在amino-impl项目的dataloader 、 job和reducer子目录中找到。 数据加载器 这就是从 Warehaus 加载数据的原因。 开发人员应该扩展WarehausDataLoader ,它将负责连接到 W
【文件预览】:
ezbake-batch-master
----azkaban-jobs()
--------pom.xml(4KB)
--------src()
----.gitignore(162B)
----README.md(10KB)
----pom.xml(8KB)
----amino-bitmap-jobs()
--------pom.xml(5KB)
--------src()
----LICENSE(10KB)
----ezbatch-amino-impl-internal()
--------pom.xml(624B)
--------ezbatch-amino-internal-security()
----amino-core()
--------pom.xml(5KB)
--------src()
--------config()
----azkaban-usermanager()
--------.gitignore(6B)
--------pom.xml(2KB)
--------src()
----NOTICE(164B)