【文件属性】：
文件名称：Web-Scraper:使用Python中的Scrapy构建的网络抓取工具，用于网络抓取和抓取
文件大小：27KB
文件格式：ZIP
更新时间：2021-04-30 15:22:07
HTML
网页抓取工具
该项目基本上包括Web爬网程序和Web爬网程序：
网页抓取工具-
蜘蛛可以通过跟踪链接来爬网任何网站。 爬网基本上涉及从网站进行大规模数据的大规模检索。 作为示例，我已对QuotestoScrape.com进行了爬网，并将抓取的数据存储在html网页中。
网页抓取工具-
蜘蛛程序可以从网站上抓取所选数据，并将其以所需格式存储。 报废是小规模的，特定的，并且会生成专门的数据集，可以将其存储为csv，json或任何其他格式。
除了简单的抓取工具外，还设计了链接追随者抓取工具，它可以跟踪到下一个网页的链接并从中抓取目标数据。
【文件预览】：
Web-Scraper-master
----QuotesScraper()
--------middlewares.py(4KB)
--------pipelines.py(294B)
--------spiders()
--------__pycache__()
--------items.py(293B)
--------__init__.py(0B)
--------settings.py(3KB)
----scrapy.cfg(269B)
----README.md(720B)