文件名称：ScrapySplashWrapper:一种使用草率和飞溅方式对网站进行爬网的包装器
文件大小：32KB
文件格式：ZIP
更新时间：2024-04-11 13:30:25
scrapy splash hacktoberfest lookyloo Python
ScrapySplashWrapper 使用草率和飞溅对网站进行爬网的包装器。 用法 警告：它需要启动实例（建议使用docker）。 usage: scraper [-h] [-s SPLASH] -u URL [-d DEPTH] [-o OUTPUT] [-ua USERAGENT] [--debug] Crawl a URL. optional arguments: -h, --help show this help message and exit -s SPLASH, --splash SPLASH Splash URL to use for crawling. -u URL, --url URL URL to crawl -d DEPTH, --dep
【文件预览】：
ScrapySplashWrapper-main
----setup.py(864B)
----poetry.lock(57KB)
----.gitignore(1KB)
----pyproject.toml(893B)
----.travis.yml(163B)
----scrapysplashwrapper()
--------crawl.lua(2KB)
--------__init__.py(4KB)
--------crawler.py(9KB)
--------middleware.py(2KB)
--------py.typed(0B)
----LICENSE(2KB)
----.github()
--------workflows()
--------dependabot.yml(429B)
----README.md(780B)
----mypy.ini(419B)