文件名称：创建数据处理管道-华为云大数据中台架构分享
文件大小：5.68MB
文件格式：PDF
更新时间：2024-07-01 05:00:27
Python cookbook 中文 参考
4.13 创建数据处理管道 问题 你想以数据管道(类似 Unix 管道)的方式迭代处理数据。 比如，你有个大量的数 据需要处理，但是不能将它们一次性放入内存中。 解决方案 生成器函数是一个实现管道机制的好办法。 为了演示，假定你要处理一个非常 大的日志文件目录： foo/ access-log-012007.gz access-log-022007.gz access-log-032007.gz ... access-log-012008 bar/ access-log-092007.bz2 ... access-log-022008