python爬虫利用selenium实现自动翻页爬取某鱼数据的思路详解

基本思路:

首先用开发者工具找到需要提取数据的标签列

利用xpath定位需要提取数据的列表

然后再逐个提取相应的数据:

保存数据到csv:

利用开发者工具找到下一页按钮所在标签:

利用xpath提取此标签对象并返回：

调用点击事件,并循环上述过程:

最终效果图:

代码:

1. from selenium import webdriver
2. import time
3. import re
4.  
5. class Douyu(object):
6.  
7. def __init__(self):
8. # 开始时的url
9. self.start_url = "https://www.douyu.com/directory/all"
10. # 实例化一个Chrome对象
11. self.driver = webdriver.Chrome()
12. # 用来写csv文件的标题
13. self.start_csv = True
14.  
15. def __del__(self):
16. self.driver.quit()
17.  
18. def get_content(self):
19. # 先让程序两秒,保证页面所有内容都可以加载出来
20. time.sleep(2)
21. item = {}
22. # 获取进入下一页的标签
23. next_page = self.driver.find_element_by_xpath("//span[text()='下一页']/..")
24. # 获取用于判断是否是最后一页的属性
25. is_next_url = next_page.get_attribute("aria-disabled")
26. # 获取存储信息的所有li标签的列表
27. li_list = self.driver.find_elements_by_xpath("//ul[@class='layout-Cover-list']//li")
28.  
29. # 提取需要的数据
30. for li in li_list:
31.  
32. item["user-id"] = li.find_element_by_xpath(".//div[@class='DyListCover-userName']").text
33. item["img"] = li.find_element_by_xpath(".//div[@class='DyListCover-imgWrap']//img").get_attribute("src")
34. item['class-name'] = li.find_element_by_xpath(".//span[@class='DyListCover-zone']").text
35. item["click-hot"] = li.find_element_by_xpath(".//span[@class='DyListCover-hot']").text
36. item["click-hot"] = re.sub(r'\n','',item['click-hot'])
37.  
38. # 保存数据
39. self.save_csv(item)
40.  
41. # 返回是否有下一页和下一页的点击事件的标签,
42. return next_page,is_next_url
43.  
44. def save_csv(self,item):
45. # 将提取存放到csv文件中的内容连接为csv格式文件
46. str = ','.join([i for i in item.values()])
47.  
48. with open('./douyu.csv','a',encoding='utf-8') as f:
49. if self.start_csv:
50. f.write("用户id,image,所属类,点击热度\n")
51. self.start_csv = False
52. # 将字符串写入csv文件
53. f.write(str)
54. f.write('\n')
55. print("save success")
56.  
57. def run(self):
58. # 启动chrome并定位到相应页面
59. self.driver.get(self.start_url)
60.  
61. while True:
62. # 开始提取数据,并获取下一页的元素
63. next_page,is_next = self.get_content()
64. if is_next!='false':
65. break
66. # 点击下一页
67. next_page.click()
68.  
69. if __name__=='__main__':
70. douyu_spider = Douyu()
71. douyu_spider.run()

到此这篇关于python爬虫利用selenium实现自动翻页爬取某鱼数据的思路详解的文章就介绍到这了,更多相关python爬虫实现自动翻页爬取某鱼数据内容请搜索服务器之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持服务器之家！

原文链接：https://www.cnblogs.com/aa1273935919/archive/2020/12/21/14168439.html