"Web Scraping with Python"笔记（一）

1.  合法性：抓取的数据用于个人使用，不存在问题；数据用于转载，需注意抓取的数据类型。

一般情况，抓取的真实数据（营业地址，电话清单等）允许转载。而原创数据（比如意见和评论）受版权限制不能转载。

2. 背景调研：第一，检查robots.txt；第二，检查网站地图sitemap； 第三，估算网站大小(site:aws.amazon.com)；第四，识别网站所用技术(builtwith模块)；第五，寻找网站所有者。

3. 3种常见方法：爬取网站地图；遍历每个网页的的数据库ID；跟踪网页链接。