python爬取单个博主所有博文

时间:2022-03-01 08:54:30
【文件属性】:

文件名称:python爬取单个博主所有博文

文件大小:3KB

文件格式:PY

更新时间:2022-03-01 08:54:30

python 爬虫 csdn

python+urllib+selenium爬取CSDN单个博主的所有博文。步骤: 1.通过selenium获取js动态加载的页数 页数是javascript动态加载,不能直接通过urllib获取。改为通过selenium获取页数。 2.通过urllib获取一页内所有文章的链接 根据页数、链接,获取每一页的文章链接,存入数组。 3.遍历文章链接,获取对应的文章的html文件,写好标题存储起来 请自行阅读代码修改食用


网友评论