文件名称:chevrons:使用Python中的高阶函数快速构建用于核心外数据处理的管道
文件大小:11KB
文件格式:ZIP
更新时间:2024-06-05 13:14:18
Python
人字形>> 使用高阶函数快速构建用于核心外数据处理的管道。 目录 #这是什么? chevrons是用于通过组合函数在迭代器上构建内存有效管道的工具的集合。 它引入了一种干净的语法,用于在组成的函数之间传递数据。 延迟评估通过管道各部分的数据,从而在资源有限的情况下轻松处理非常大(或无限)的数据流。 chevrons非常适合需要处理大量核心外数据但又不足以保证“大数据”解决方案的情况。 它使您可以构建可以轻松组成,重新排序和重用的管道组件。 包的名称来自这些管道的语法,如下所示: output = input_data | function_1 >> function_2 >> function_3 此语法使管道可读并易于理解。 同样,可以命名和重用管道的各个子节: preprocess = function_1 >> function_2 output1 = input_da
【文件预览】:
chevrons-master
----.travis.yml(93B)
----__init__.py(0B)
----setup.cfg(39B)
----setup.py(522B)
----.gitignore(25B)
----README.md(5KB)
----chevrons()
--------tests()
--------pipeline_parallel.py(3KB)
--------__init__.py(0B)
--------pipeline_hof.py(996B)
--------pipeline_extra.py(2KB)
--------pipeline_base.py(727B)
----LICENSE.txt(1KB)