MC_Scraper:基于 Scrapy、Selenium、PhantomJS 的 MC 刮刀

时间:2024-07-10 03:13:27
【文件属性】:

文件名称:MC_Scraper:基于 Scrapy、Selenium、PhantomJS 的 MC 刮刀

文件大小:1.05MB

文件格式:ZIP

更新时间:2024-07-10 03:13:27

Python

MC_Scraper 用于 MC 的基于 Scrapy、Selenium、PhantomJS 的刮刀 首先设置你的 MySQL 服务器。 假设您已经创建了一个数据库“pyScraper”。 该项目的关联表创建语句可以在“cTable.txt”中找到。 现在你需要 Python 2.7.* 和以下包: Python开发 python-setuptools python-mysqldb 使用你的包管理器来安装它们。 现在,您将可以访问命令“easy_install”。 使用它来安装“pip”(Python 包管理器) 须藤easy_install pip 现在使用“pip”安装“scrapy” sudo -H pip 安装scrapy 这个爬虫基于 PhantomJS 1.9.8。 PhantomJS 2.0 还不稳定。 网址集合: 相关代码包含在“metrosCubi


【文件预览】:
MC_Scraper-master
----.gitignore(59B)
----metrosCubicosUrls()
--------getUrls.py(7KB)
--------startUrls.py.template(94B)
--------Block-image_v1.0.crx(22KB)
----README.md(3KB)
----cTable.txt(3KB)
----scrapy.cfg(268B)
----metrosCubicos()
--------spiders()
--------items.py(3KB)
--------pipelines.py(5KB)
--------settings.py(526B)
--------__init__.py(0B)
----Block-image_v1.0.crx(22KB)

网友评论