文件名称：spider-feeder
文件大小：20KB
文件格式：ZIP
更新时间：2024-05-29 15:15:52
Python
蜘蛛喂食器 Spider-Feeder是一个库，可帮助将输入内容加载到刮擦式蜘蛛。 安装 pip install spider-feeder仅加载本地文件 pip install spider-feeder[s3]从AWS S3加载文件 pip install spider-feeder[collections]从Scrapinghub集合加载 要求 如果使用s3 ，则需要botocore 如果使用collections ，则需要python-scrapinghub 否则，没有要求 用法（纯文本） 在项目中使用一些URL创建一个urls.txt文件（如下例所示）。 https://url1.com https://url2.com https://url3.com 然后，在settings.py EXTENSIONS = { 'spider_feeder.loaders
【文件预览】：
spider-feeder-master
----.travis.yml(919B)
----tests()
--------test_loaders.py(4KB)
--------__init__.py(0B)
--------store()
----CHANGES.md(1KB)
----setup.cfg(134B)
----requirements.txt(160B)
----spider_feeder()
--------__init__.py(0B)
--------loaders.py(3KB)
--------store()
----setup.py(1KB)
----.gitignore(743B)
----README.md(6KB)
----LICENSE.txt(1KB)