文件名称:申请
文件大小:51KB
文件格式:ZIP
更新时间:2024-03-23 05:32:39
Python
粗暴的执行者 该角色可让您在平台上运行以Python和编写的网络蜘蛛。 执行Spider就像将Scrapy代码复制粘贴到actor的输入中一样简单。 有关多文件Scrapy蜘蛛,请参阅本自述文件的底部。 请注意,演员是实验性的,将来可能会改变。 输入配置 actor具有以下输入选项: Scrapy代码-将带有Scrapy的Python源代码粘贴到此字段中。 代理-可选地,选择参与者要使用的代理,以避免目标网站基于IP地址的阻止。 actor通过代理自动执行所有Scrapy的HTTP(S)请求。 在Apify云上存储数据 要将Scrapy项目存储在Apify的或云存储中,可以使用 Python包。 所有方法都可用于在本地以及在Apify平台上运行的参与者。 首先,通过在源文件顶部添加以下命令来导入软件包: import apify 要将您pushData()的数据推送到与acto
【文件预览】:
apify-master
----.gitignore(99B)
----Dockerfile(1KB)
----package.json(507B)
----main.js(3KB)
----package-lock.json(121KB)
----apify.json(84B)
----README.md(3KB)
----apify()
--------__init__.py(3KB)
--------__pycache__()
----scrapy.cfg(253B)
----INPUT_SCHEMA.json(1KB)
----actor()
--------middlewares.py(4KB)
--------spiders()
--------__init__.py(0B)
--------pipelines.py(286B)
--------__pycache__()
--------urls.csv(29B)
--------settings.py(3KB)
--------items.py(285B)