robots.txt在网站的根目录下
遵守
自动或人工识别robots.txt再进行内容爬取
约束性：建议性，不遵守协议，存在法律风险。
基本语法：
User-agent: *
Disallow: /
#注释 *所有 /代表根目录
相关文章
- [Python3网络爬虫开发实战] 3.1.4-分析Robots协议
- PYTHON网络爬虫与信息提取[网络爬虫协议](单元二)
- 网络爬虫与web之间的访问授权协议——Robots
- 深入探讨Python网络爬虫的实现与应用
- 《精通Python网络爬虫：核心技术、框架与项目实战》——3.7 实例——metaseeker...
- 【python】网络爬虫与信息提取--scrapy爬虫框架介绍
- Python网络爬虫与信息提取（二）——HTTP协议及Requests库的方法
- python3 网络爬虫（二）利用get请求获取网页的动态加载数据
- python从爬虫开始（一）——Python3的安装与环境配置以及网络爬虫的手把手教学
- Python网络爬虫与信息提取（一）requests库的安装与基本方法之get()方法