实现不同页面抓取的爬虫

【文件属性】：

文件名称：实现不同页面抓取的爬虫

文件大小：453KB

文件格式：PDF

更新时间：2021-09-03 11:01:51

代码

在昨天的作业中，有很多人问了我同样的问题，目录，书籍，评论不在同一个页面啊，怎么进行爬取，今天 我以豆瓣为例，教导大家如何维护一个爬虫的url队列，对不同结构的网页分别解析并获取内容