文件名称:metl:轻量级etl处理
文件大小:27KB
文件格式:ZIP
更新时间:2024-06-29 02:18:43
Go
迷你ETL系统 对于那些只想处理 CSV 文件(或其他文件)中的几行(或多行)的人。 metl 不会守护进程,所以你需要使用 cron 来提供调度; 它运行“独立” - 每次处理作业时都会运行metl二进制文件。 这是一个非常早期的、未经测试或正在使用的代码库(- 还有很多工作 [和文档] 要做!),所以使用时要自担风险。 当前功能集 获取 从文件系统 通过 HTTP 解析器 CSV ** 标题行映射 ** 行跳过 加工 行添加(从解析器找到的内容中添加额外的行) 配置工人数量 输出 标准输出 MySQL 通知 嘻哈 使用金属 首先构建一个二进制文件。 $ make get-deps $ make build 然后将二进制文件移到有用的地方并为metl ( /etc/metl ) 创建一个目录。 您也可以自己执行此操作(二进制文件位于bin/metl )或运行: $ ma
【文件预览】:
metl-master
----.gitignore(23B)
----metl.go(659B)
----Makefile(644B)
----src()
--------metl()
--------command()
--------job()
--------notifications()
----dev-env.sh(104B)
----README.md(2KB)
----samples_jobs()
--------sample.toml(2KB)
----test_data()
--------test_job.toml(1KB)
--------test.csv(210B)
----TODO.md(788B)
----Godeps(347B)