scrapy 安装报错解决手段

时间:2024-04-07 09:20:01

一、Scrapy简介、

Scrapy是一个为了爬取网站数据提取结构性数据而编写的应用框架,可以应用于数据挖掘,信息处理或存储历史数据等一些列的程序中。Scrapy最初就是为了网络爬取而设计的。现在,Scrapy已经推出了曾承诺过的Python3.x版本。

    为什么学习Scrapy呢?它能我们更好的完成爬虫任务,自己写Python爬虫程序好比孤军奋战,而使用了Scrapy就好比手底下有了千军万马。Scrapy可以起到事半功倍(甚至好几倍*.*)的效果。所以,学习Scrapy也就显得很有必要了。

二、第一次安装scrapy常见错误及解决手段、

问题1:

           报错:Exception:Traceback (most recent call last).....

           原因:未更新到最新版本   

             解决:scrapy 安装报错解决手段

问题2:

          报错:Command "python setup.py egg_info" failed with error code 1 in C:\Users\LUOXIA~1\AppData\Local\Temp\pip-build-5hi6welx\Twisted\Complete output from command python setup.py egg_info:

           原因:setup.py的版本问题

            运行命令:scrapy 安装报错解决手段

问题3:

            报错:scrapy 安装报错解决手段

             

            解决方法:下载安装twisted对应版本的whl文件,比如:我的是Twisted-17.9.0-cp36-cp36m-win_amd32.whl,cp后面是python版本,amd32代表32

            下载网址:https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

运行命令:scrapy 安装报错解决手段

其中install后面为下载的whl文件的完整路径。

再次运行命令    scrapy 安装报错解决手段

安装成功后,在终端输入 :scrapy显示如下结果即表示成功:

scrapy 安装报错解决手段

好了,这篇我们就先给大家介绍这么多   下篇就给大家介绍创建scrip