"Web Scraping with Python"笔记(一)

时间:2024-10-01 18:07:32

1.  合法性:抓取的数据用于个人使用,不存在问题;数据用于转载,需注意抓取的数据类型。

一般情况,抓取的真实数据(营业地址,电话清单等)允许转载。而原创数据(比如意见和评论)受版权限制不能转载。

2. 背景调研:第一,检查robots.txt;第二,检查网站地图sitemap; 第三,估算网站大小(site:aws.amazon.com);第四,识别网站所用技术(builtwith模块);第五,寻找网站所有者。

3. 3种常见方法:爬取网站地图;遍历每个网页的的数据库ID;跟踪网页链接。