【文件属性】：
文件名称：pypeln:Python中的并发数据管道>>>
文件大小：281KB
文件格式：ZIP
更新时间：2021-04-12 07:54:18
Python
皮佩伦
Pypeln（发音为“ pypeline”）是一个简单而强大的Python库，用于创建并发数据管道。
主要特点
简单：Pypeln旨在解决需要并行性和并发性的中等数据任务，而在使用Spark或Dask这样的框架时，它们会显得夸张或不自然。
易于使用：Pypeln公开了与常规Python代码兼容的熟悉的功能API。
灵活：Pypeln使您可以通过完全相同的API使用Processes，Threads和asyncio.Tasks构建管道。
细粒度控制：通过Pypeln，您可以控制在管道的每个阶段使用的内存和cpu资源。
有关更多信息，请参阅“ 。
安装
使用pip安装Pypeln：
pip install pypeln
基本用法
使用Pypeln，您可以使用3种类型的工作程序轻松创建多阶段数据管道：
Craft.io流程
您可以使用process模块创建基于 worker的