文件名称：pypeln:Python中的并发数据管道>>>
文件大小：281KB
文件格式：ZIP
更新时间：2024-05-02 01:40:58
Python
皮佩伦 Pypeln（发音为“ pypeline”）是一个简单而强大的Python库，用于创建并发数据管道。 主要特点 简单：Pypeln旨在解决需要并行性和并发性的中等数据任务，而在使用Spark或Dask这样的框架时，它们会显得夸张或不自然。 易于使用：Pypeln公开了与常规Python代码兼容的熟悉的功能API。 灵活：Pypeln使您可以通过完全相同的API使用Processes，Threads和asyncio.Tasks构建管道。 细粒度控制：通过Pypeln，您可以控制在管道的每个阶段使用的内存和cpu资源。 有关更多信息，请参阅“ 。 安装 使用pip安装Pypeln： pip install pypeln 基本用法 使用Pypeln，您可以使用3种类型的工作程序轻松创建多阶段数据管道： Craft.io流程 您可以使用process模块创建基于 worker的