文件名称：LM_Scraper:基于 Scrapy、Selenium、PhantomJS 的 LM 刮刀
文件大小：166KB
文件格式：ZIP
更新时间：2024-07-10 02:57:56
Python
LM_刮刀 基于 Scrapy、Selenium、PhantomJS 的 LM 刮刀 首先设置你的 MySQL 服务器。 假设您已经创建了一个数据库“pyScraper”。 该项目的关联表创建语句可以在“cTable.txt”中找到。 现在你需要 Python 2.7.* 和以下包： Python开发 python-setuptools python-mysqldb 使用你的包管理器来安装它们。 现在，您将可以访问命令“easy_install”。 使用它来安装“pip”（Python 包管理器） 须藤easy_install pip 现在使用“pip”安装“scrapy” sudo -H pip 安装scrapy 这个爬虫基于 PhantomJS 2.0。 它不适用于以前版本的 PhantomJS，因为它们不支持单击锚元素。 请记住，PhantomJS 会占用大量内存
【文件预览】：
LM_Scraper-master
----Lamudi()
--------pipelines.py(4KB)
--------spiders()
--------items.py(1KB)
--------__init__.py(0B)
--------settings.py(485B)
----LamudiUrls()
--------Level2(35KB)
--------Level1(3KB)
--------Level3(525KB)
--------level3.py.template(94B)
--------getUrls.py(1KB)
----Block-image_v1.0.crx(22KB)
----scrapy.cfg(254B)
----Readme.md(2KB)
----cTable.txt(1KB)
----.gitignore(45B)