alioss_store_scrapy:Scrapy管道将下载的文件存储到Aliyun OSS中

时间:2024-05-23 10:44:55
【文件属性】:

文件名称:alioss_store_scrapy:Scrapy管道将下载的文件存储到Aliyun OSS中

文件大小:3KB

文件格式:ZIP

更新时间:2024-05-23 10:44:55

Python

介绍 在Scrapy中添加Aliyun-OSS文件存储支持,例如S3FilesStore。 先决条件 在您的python envs中安装Aliyun OSS python sdk,去下载 如何使用 将pipeline.py中的代码放入您自己的pipleline文件中 将变量添加到您的settings.py中 IMAGES_STORE ='alioss:// dlimgs'#图片存储类型,dlimgs是存储文件的存储桶的名称 ALI_OSS_ACCESS_KEY_ID ='您的访问密钥'#访问密钥ID ALI_OSS_ACCESS_KEY_SECRET ='您的访问密钥秘密'#访问密钥 ALI_OSS_ENDPOINT ='your-oss-endpoint'#oss端点,例如:oss-cn-beijing.aliyuncs.com 将CustomizedImagesPipeline类的


【文件预览】:
alioss_store_scrapy-master
----pipelines.py(5KB)
----README.md(983B)

网友评论