Scrapy介绍与环境安装
Scrapy介绍与环境安装
What is scrapy?
An open source and collaborative framework for extracting the data you need from websites. In a fast, simple, yet extensible way.——Scrapy Home Page
- Scrapy是Python开发的一个快速web爬虫抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。
官网：scrapy.org
How to install Scrapy?
- 安装lxml
- 安装zope.interface
- 安装Twisted
- 安装pyOpenSSL
- 安装pywin32
- 安装Scrapy(
pip install scrapy)
Scrapy本身是基于一些底层的库文件进行开发的，所以需要安装一些底层的库文件。也就是说，除了最后一步，其它的步骤如果安装过了，是可以不用再次安装的。