文件名称：scrapy-s3pipeline:Scrapy管道将分块的项目存储到Amazon S3或Google Cloud Storage存储桶中
文件大小：12KB
文件格式：ZIP
更新时间：2024-06-13 09:58:30
aws pipeline s3 scrapy Python
Scrapy S3管道 Scrapy管道将项目存储到或存储桶中。 与内置不同，管道具有以下功能： 在搜寻器运行时，管道按块将项目上载到S3 / GCS。 从Scrapy 2.3开始，内置的几乎可以完成相同的操作。 支持GZip压缩。 该管道旨在在不同的流程中运行搜寻器和爬虫，例如，在AWS Fargate中使用Scrapy运行搜寻器进程，在AWS Lambda中使用lxml运行搜寻器进程。 要求 Python 3.6+（在3.9中测试） Scrapy 1.1+（在2.4中测试） boto3或google-cloud-storage 安装 对于S3用户： $ pip3 install scrapy-s3pipeline[s3] 对于GCS用户： $ pip3 install scrapy-s3pipeline[gcs] 入门 用pip安装Scrapy S3 Pipelin
【文件预览】：
scrapy-s3pipeline-master
----.github()
--------workflows()
----LICENSE(1KB)
----setup.py(1KB)
----README.md(5KB)
----.editorconfig(142B)
----tests()
--------__init__.py(0B)
--------test_pipelines.py(4KB)
--------test_items.py(972B)
----.gitignore(1KB)
----s3pipeline()
--------pipelines.py(5KB)
--------__init__.py(58B)
--------strategies()
--------items.py(823B)