python配置爬虫环境Scrapy

时间:2023-02-07 17:24:17

最近对Python爬虫比较感兴趣,于是乎安装了python并开始配置环境,由于没什么经验,结果遇到了很多问题,好在网上相关的文章并不少,最终找到一篇还不错的博客,按照它的步骤成功的完成了环境的配置。

所以今天打算整理一下写一篇博文分享给大家,希望对想学python爬虫的你有一个简单的环境配置帮助。

(推荐一个网址,里面有对Scrapy很详细的讲解:https://scrapy.org/



我这里选择的是python2.7.12版本,推荐使用2.7.x系列,不推荐python3.x。好了,下面就开始进入主题了。


一、安装python2.7.x

在python官网下载相应版本进行安装,安装成功后将python的安装目录添加到系统的环境变量中。


python配置爬虫环境Scrapy


然后在命令行中输入python并回车,如下图所示就表示安装成功了。


python配置爬虫环境Scrapy


二、安装pywin32

pywin32是一款python的一款IDE,其代码风格可以类似win32 sdk,也可以类似MFC,如果你仍不放弃vc一样的代码风格,那么这就是一个不错的选择,当然我们还有其他很多如vim、sublime、pycharm的IDE可选择。pywin32的功能相对简单,可做的操作也就相对有限了,所以后者是一个不错的选择。

https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/这里点击进去后选择对应的版本(注意要与安装的python版本对应),下载后也是双击运行,直接下一步一路完成。


python配置爬虫环境Scrapy


三、安装twisted

在其官网的下载页面中http://twistedmatrix.com/trac/wiki/Downloads可以看到安装twisted、之前还需要先安装其他几个包。


1. 安装zope.interface, 从这里https://pypi.python.org/pypi/zope.interface#download下载(注意版本的对应)。


python配置爬虫环境Scrapy

 

2. 安装pyopenssl, 从这里https://pypi.python.org/simple/pyopenssl/下载。


3. 安装twisted,从这里https://pypi.python.org/simple/twisted/下载。


四、安装lxml,在这里https://pypi.python.org/simple/lxml/下载,我是选择了3.4.3版本。


五、安装scrapy

这里我们选择通过pip来安装,首先我们还需要添加一个系统环境变量如。


python配置爬虫环境Scrapy


然后打开命令行,cd到python安装目录下的Scripts下,然后输入pip install scrapy就可以进行安装了(以后安装其他包也可以这样操作)。


python配置爬虫环境Scrapy


至此我们就完成了python爬虫环境的配置,接下来就可以写个爬虫小程序来玩玩了。



Tips:安装各种包时注意版本一定要对应,否则安装不了。当包安装完成后可以通过在命令行键入python进入python然后import 包的名字 来查看包是否成功安装。(如下图所示则表示成功安装)

python配置爬虫环境Scrapy





附上我参考的博文链接:http://www.open-open.com/lib/view/open1383291459613.html