python3.6利用IP代理爬虫防止被屏蔽

【文件属性】：

文件名称：python3.6利用IP代理爬虫防止被屏蔽

文件大小：3KB

文件格式：TXT

更新时间：2021-12-30 11:05:17

爬虫 IP池代理 headers池

有时需要爬取一个目标网站过多数据的时候，python会在短时间内多次访问，如果目标网站有反扒措施，则IP地址有可能被禁止访问，造成程序失败，可以用IP池做IP代理，headers池伪装不同浏览器，从而更搞笑的爬取数据