windows配置Scrapy爬虫框架

时间:2022-07-17 03:50:24

一、环境

Windows10 64位

Python2.7.13 64位

下面的安装步骤最好配置代理,可能会遇到被墙的情况。

二、Python的安装

可以去参考这篇文章:http://blog.csdn.net/u011781521/article/details/53909151

三、Scrapy依赖项的安装

Scrapy的依赖项可以在这里进行下载:http://download.csdn.net/detail/u011781521/9814971

windows配置Scrapy爬虫框架

安装以下依赖,也可以通过pip进行安装(这里最新版的Python2.7.13安装好后会有pip安装方式直接通过pip命令即可安装最新版的库):

安装lxml-3.2.4.win-amd64-py2.7.exe
安装pywin32-218.win-amd64-py2.7.exe
安装Twisted-13.2.0.win-amd64-py2.7.exe
安装pyOpenSSL-0.13.1.win-amd64-py2.7.exe
安装zope.interface-4.3.3.win-amd64-py2.7.exe(https://pypi.python.org/pypi/zope.interface#downloads)
安装MySQL-python-1.2.3.win-amd64-py2.7.exe(非必须)

安装PIL-fork-1.1.7.win-amd64-py2.7.exe python图片库

上面的安装步骤很简单,下一步下一步就行了,安装之后验证scrapy依赖项是否安装成功的方法:

cmd执行python进入python控制台

● 执行import lxml,如果没报错,则说明lxml安装成功。
● 执行import twisted,如果没报错,则说明twisted安装成功。
● 执行import OpenSSL,如果没报错,则说明OpenSSL安装成功。
● 执行import zope.interface,如果没报错,则说明zope.interface安装成功。

windows配置Scrapy爬虫框架

四、安装Scrapy

方法1: 控制台输入:pip install scrapy(下载较慢,安装的是最新版的Scrapy尽量安装最新版的好处不必多说)
方法2: 去官网下载解压,然后在其目录下执行$ python setup.py install进行Scrapy的安装。

这里采用第一次方法进行安装:

windows配置Scrapy爬虫框架

检查Scrapy是否安装成功的方法:可以在cmd控制台执行 scrapy  version,如果没有报错,说明安装成功。