今天在爬知乎精华时,出现了‘Forbidden by robots.txt’的问题
了解到到
scrapy在爬取设定的url之前,它会先向服务器根目录请求一个txt文件,这个文件规定了爬取范围
scrapy会遵守这个范围协议,查看自己是否符合权限,出错说明不符合,所以我们只要不遵守这个协议就Ok了
在settings.py中找到 ROBOTSSTXT_OBEY 改
ROBOTSTXT_OBEY=False
问题就解决了。
今天在爬知乎精华时,出现了‘Forbidden by robots.txt’的问题
了解到到
scrapy在爬取设定的url之前,它会先向服务器根目录请求一个txt文件,这个文件规定了爬取范围
scrapy会遵守这个范围协议,查看自己是否符合权限,出错说明不符合,所以我们只要不遵守这个协议就Ok了
在settings.py中找到 ROBOTSSTXT_OBEY 改
ROBOTSTXT_OBEY=False
问题就解决了。