文件名称：mercury:用于数据管理和管道构建的Python工具集
文件大小：217KB
文件格式：ZIP
更新时间：2024-04-07 03:01:53
Python
汞 用于数据管理和管道构建的Python工具集 Mercury是一个数据工程工具包。它是根据UNIX原理构建的。也就是说，它由许多相对简单的程序组成，每个程序都： 是小 一件事做得好 旨在与其他程序组合 容易测试 设计目标是允许操作员快速而轻松地创建ETL（提取，转换和加载）堆栈。 工具 档案 xfile从输入文件或stdin读取一系列源记录，将转换应用于每个记录，并将转换后的记录写入stdout。它由YAML配置文件驱动。 xfile使用称为Map的可配置类型以及称为DataSource的可插拔类型。映射是一种结构化类型，用于描述输入记录（一组名称-值对）和输出记录之间的关系。 配置文件指定任意数量的命名Maps。每个映射都包含一些元数据，对数据源的引用以及字段的集合。这些字段包括地图内的嵌套字典，其中的键是输出字段名称。在每个字段中，我们可以有一个输入字段名称和该字段的来源。也就是说