mercury:用于数据管理和管道构建的Python工具集

时间:2021-03-18 09:15:13
【文件属性】:
文件名称:mercury:用于数据管理和管道构建的Python工具集
文件大小:217KB
文件格式:ZIP
更新时间:2021-03-18 09:15:13
Python 汞 用于数据管理和管道构建的Python工具集 Mercury是一个数据工程工具包。它是根据UNIX原理构建的。也就是说,它由许多相对简单的程序组成,每个程序都: 是小 一件事做得好 旨在与其他程序组合 容易测试 设计目标是允许操作员快速而轻松地创建ETL(提取,转换和加载)堆栈。 工具 档案 xfile从输入文件或stdin读取一系列源记录,将转换应用于每个记录,并将转换后的记录写入stdout。它由YAML配置文件驱动。 xfile使用称为Map的可配置类型以及称为DataSource的可插拔类型。映射是一种结构化类型,用于描述输入记录(一组名称-值对)和输出记录之间的关系。 配置文件指定任意数量的命名Maps。每个映射都包含一些元数据,对数据源的引用以及字段的集合。这些字段包括地图内的嵌套字典,其中的键是输出字段名称。在每个字段中,我们可以有一个输入字段名称和该字段的来源。也就是说

网友评论