scrapy-inline-requests:装饰器编写类似协程的蜘蛛回调

时间:2024-06-03 06:37:09
【文件属性】:

文件名称:scrapy-inline-requests:装饰器编写类似协程的蜘蛛回调

文件大小:31KB

文件格式:ZIP

更新时间:2024-06-03 06:37:09

Python

崎In的内联请求 装饰器,用于编写类似协程的蜘蛛回调。 免费软件:MIT许可证 文档: : 。 Python版本:2.7、3.4+ 快速开始 下面的蜘蛛网显示了一个简单的用例,它是抓取页面并跟随一些链接的: from inline_requests import inline_requests from scrapy import Spider , Request class MySpider ( Spider ): name = 'myspider' start_urls = [ 'http://httpbin.org/html' ] @ inline_requests def parse ( self , response ): urls = [ response . url ] for i in range


【文件预览】:
scrapy-inline-requests-master
----MANIFEST.in(219B)
----.travis.yml(1KB)
----README.rst(3KB)
----requirements-dev.txt(139B)
----.coveragerc(153B)
----example()
--------README.rst(356B)
--------*.py(2KB)
----requirements-tests.txt(78B)
----requirements-setup.txt(107B)
----docs()
--------history.rst(28B)
--------reference.rst(83B)
--------conf.py(8KB)
--------make.bat(6KB)
--------installation.rst(1KB)
--------modules.rst(82B)
--------authors.rst(28B)
--------requirements.txt(93B)
--------inline_requests.rst(517B)
--------readme.rst(27B)
--------Makefile(7KB)
--------index.rst(520B)
--------contributing.rst(33B)
----AUTHORS.rst(160B)
----requirements.in(150B)
----pytest.ini(154B)
----CONTRIBUTING.rst(3KB)
----tests()
--------test_inline_requests.py(1KB)
--------__init__.py(24B)
--------test_package_import.py(168B)
----tox.ini(195B)
----LICENSE(1KB)
----dev-requirements.txt(1KB)
----src()
--------inline_requests()
----HISTORY.rst(880B)
----setup.cfg(76B)
----VERSION(6B)
----requirements.txt(133B)
----setup.py(2KB)
----.gitignore(751B)
----Makefile(4KB)
----.cookiecutterrc(607B)
----.editorconfig(292B)
----.bumpversion.cfg(788B)
----TODO.rst(25B)
----dev-requirements.in(268B)
----requirements-install.txt(82B)

网友评论