• [原创]手把手教你写网络爬虫（7）：URL去重

    时间：2022-09-03 17:17:46

      手把手教你写网络爬虫（7） 作者：拓海 摘要：从零开始写爬虫，初学者的速成指南！ 封面：   本期我们来聊聊URL去重那些事儿。以前我们曾使用Python的字典来保存抓取过的URL，目的是将重复抓取的URL去除，避免多次抓取同一网页。爬虫会将待抓取的URL放在todo队列中，从抓取到的网页中提...