文件名称：Scraping-mymarket-using-python-with-library-scrapy:Scrapy，一个适用于Python的快速高级Web爬网和抓取框架
文件大小：18KB
文件格式：ZIP
更新时间：2024-05-15 10:53:18
python crawler crawling scrapy Python
使用带有库scrapy的python爬Mymarket Scrapy，一个用于Python的快速高级Web爬网和抓取框架。 概述 Scrapy是一个快速的高级Web爬网和Web爬网框架，用于对网站进行爬网并从其页面中提取结构化数据。 它可以用于从数据挖掘到监视和自动化测试的广泛用途。 在查看Scrapy主页以获取更多信息，包括功能列表。 要求 Python 3.7+ Works Windows 安装 快速方法： pip install scrapy有关更多详细信息，请参阅文档中的“安装”部分。 关于代码 抓取网站“ mymarket”，以获取标题，链接产品，链接图像，价格，交货时间，产品类别，最后将其保存在excel中。 您可以在floder中使用此代码“使用带有库scrapy / spiders / posts_spider.py的python删除mymarket”
【文件预览】：
Scraping-mymarket-using-python-with-library-scrapy-master
----settings.py(3KB)
----pipelines.py(364B)
----middlewares.py(4KB)
----__init__.py(0B)
----.idea()
--------misc.xml(204B)
--------inspectionProfiles()
--------modules.xml(272B)
--------.gitignore(47B)
--------postscrape.iml(395B)
--------vcs.xml(180B)
----README.md(959B)
----items.py(266B)
----__pycache__()
--------settings.cpython-37.pyc(293B)
--------pipelines.cpython-37.pyc(1KB)
--------__init__.cpython-37.pyc(179B)
----spiders()
--------__init__.py(161B)
--------__pycache__()
--------posts_spider.py(8KB)