【文件属性】:
文件名称:mercury:用于数据管理和管道构建的Python工具集
文件大小:217KB
文件格式:ZIP
更新时间:2021-03-18 09:15:13
Python
汞
用于数据管理和管道构建的Python工具集
Mercury是一个数据工程工具包。它是根据UNIX原理构建的。也就是说,它由许多相对简单的程序组成,每个程序都:
是小
一件事做得好
旨在与其他程序组合
容易测试
设计目标是允许操作员快速而轻松地创建ETL(提取,转换和加载)堆栈。
工具
档案
xfile从输入文件或stdin读取一系列源记录,将转换应用于每个记录,并将转换后的记录写入stdout。它由YAML配置文件驱动。
xfile使用称为Map的可配置类型以及称为DataSource的可插拔类型。映射是一种结构化类型,用于描述输入记录(一组名称-值对)和输出记录之间的关系。
配置文件指定任意数量的命名Maps。每个映射都包含一些元数据,对数据源的引用以及字段的集合。这些字段包括地图内的嵌套字典,其中的键是输出字段名称。在每个字段中,我们可以有一个输入字段名称和该字段的来源。也就是说