Scrapy框架的基本使用

安装

pip install scrapy 

基础使用

1. 创建一个工程：scrapy startproject

2. 在工程目录下创建一个爬虫文件

cd 工程

scrapy genspider 爬虫文件的名称 起始url

3.  对应的文件中编写爬虫程序来完成爬虫的相关操作

4. 配置文件的编写（settings）

USER_AGENT：伪装身份用的

ROBOTSTXT_OBEY：默认是True，改成False。True会严格遵从门户网站的robot协议

5. 执行