文件名称：GEM:General ETL Machine，一个内置于 Pentaho Data Integration (Kettle) 的可定制 ETL 框架
文件大小：168KB
文件格式：ZIP
更新时间：2024-07-29 01:54:14
Shell
GEM - 通用 ETL 机器 动机 GEM 是一个框架，旨在通过以半自动化的方式（日志记录、监控、数据沿袭等）实现大多数常见功能来加快开发周期。 它的目标是限制 PDI 中可用的配置数量，并允许更快的 ETL 开发周期。 关键概念 进程：进程是 ETL 的独立部分，由单个源（特定数据库、文件类型、Web 服务）和公共目标（临时数据库、数据仓库等）定义 任务：每个进程有一个或多个任务，由原子数据提取、转换和加载组成。 任务由单个目标表定义（无论它读取多少个源表或文件。任务记录在 ETL 数据库的 task_log 表中。 运行：运行是 ETL 的单次执行，迭代所有进程和任务。 每次 ETL 运行都记录在 ETL 数据库的 etl_log 表中。 环境：环境只是标识运行 GEM 的机器的名称。 通常的名称是 dev、uat 或 prod，但可以*使用其他名称，例如 nelson-la