文件名称：datapipe:灵活的数据处理框架
文件大小：18KB
文件格式：ZIP
更新时间：2024-06-26 12:58:15
Python
数据管 Datapipe 是一个 Python 框架，允许您构建和管理复杂的数据处理管道。 为什么不使用现有的数据处理框架？ Datapipe 的灵感来自类似的包，如和 。 它旨在通过以下方式改进替代方案 提供使任务完全可组合的 API 任务可以有任意的输入/输出 任务可以与数据处理管道分开定义 任务可以动态组合（一个任务的任何输出都可以成为另一个任务的输入） 加快复杂、重复的工作流程 并行执行任务 仅在必要或请求时重新运行任务（如make ） 当前功能 一个用于定义任务的灵活 API，灵感来自（但不同于） 跟踪目标的状态，只执行必要的任务（例如，当文件的时间戳更改、任务的代码更改或管道的结构更改时） 实施目标： LocalFile （本地文件系统上的文件） PyTarget （一个会自动持久化的 Python 对象） 计划功能 用于处理的各种基本任务和目标 远程文件（例
【文件预览】：
datapipe-master
----.gitignore(675B)
----README.md(4KB)
----tests()
--------tests.py(2KB)
----LICENSE(1KB)
----requirements.txt(40B)
----setup.py(495B)
----.travis.yml(106B)
----datapipe()
--------log.py(4KB)
--------targets()
--------util.py(499B)
--------target.py(2KB)
--------task.py(6KB)
--------__init__.py(176B)
--------dask.py(12KB)
--------require.py(3KB)
--------input.py(298B)