Scrapy框架的基本使用

时间:2024-08-12 20:03:02

安装

pip install scrapy 

基础使用

1. 创建一个工程:scrapy startproject

Scrapy框架的基本使用

2. 在工程目录下创建一个爬虫文件

cd 工程

scrapy genspider 爬虫文件的名称 起始url

3.  对应的文件中编写爬虫程序来完成爬虫的相关操作

4. 配置文件的编写(settings)

USER_AGENT:伪装身份用的

ROBOTSTXT_OBEY:默认是True,改成False。True会严格遵从门户网站的robot协议

5. 执行