使用Python获取爱奇艺电视剧弹幕数据的示例代码

时间：2022-11-07 07:42:04

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

以下文章来源于数据STUDIO，作者龙哥带你飞

Python分析抖音用户行为数据视频讲解地址

https://www.bilibili.com/video/BV1yp4y1q7ZC/

数据获取是数据分析中的重要的一步，数据获取的途径多种多样，在这个信息爆炸的时代，数据获取的代价也是越来越小。因此如此，仍然有很多小伙伴们无法如何获取有用信息。此处以最近的热播排行榜第一名的《流金岁月》为例，手把手教你如何获取爱奇艺电视剧弹幕数据。

使用Python获取爱奇艺电视剧弹幕数据的示例代码

寻找弹幕信息

爱奇艺的弹幕数据已通过.z形式的压缩文件存在，先通过以下步骤找到弹幕url, tvid列表，再获取压缩文件。利用工具对获取的压缩文件进行解压，处理，存储及分析。

使用Python获取爱奇艺电视剧弹幕数据的示例代码

绝对，实行多页爬取，需要分析url规律，利用url规律循环请求并获取所需内容。

此弹幕文件url地址为
https://cmts.iqiyi.com/bullet/93/00/6024766870349300_300_1.z
其中tvid = 6024766870349300

url普适形式为
url ='https:
//cmts.iqiyi.com/bullet/{}/{}/{}_300_{}.z'其中第一个与第二个花括号内容是tvid后3、4位，，后1、2位。第三个花括号为tvid。第四个花括号为子文件序号，其不是一个无穷大的数，会根据不同的电视剧有不同的最大数。

使用Python获取爱奇艺电视剧弹幕数据的示例代码

获取弹幕文件

可以利用浏览器通过url直接请求，并获取结果。

使用Python获取爱奇艺电视剧弹幕数据的示例代码

输入网址可获取弹幕内容的压缩文件文件。

使用Python获取爱奇艺电视剧弹幕数据的示例代码

利用解压/压缩包zlib对下载下来的压缩文件进行解压查看。

  1. import zlib
  2. from bs4 import BeautifulSoup
  3. with open(r"C:\Users\HP\Downloads\6024766870349300_300_10.z", 'rb') as fin:
  4. content = fin.read()
  5. btArr = bytearray(content)
  6. xml=zlib.decompress(btArr).decode('utf-8')
  7. bs = BeautifulSoup(xml,"xml")
  8. bs

输出

使用Python获取爱奇艺电视剧弹幕数据的示例代码

因此tvid只要获得就能轻松获取该电视剧的弹幕文件数据。

  1. import zlib
  2. from bs4 import BeautifulSoup
  3. import pandas as pd
  4. import requests
  5. def get_data(tv_name,tv_id):
  6. """
  7. 获取每集的tvid
  8. :param tv_name: 集数，第1集、第2集...
  9. :param tv_id: 每集的tvid
  10. :return: DataFrame, 最终的数据
  11. """
  12. base_url = 'https://cmts.iqiyi.com/bullet/{}/{}/{}_300_{}.z'
  13. # 新建一个只有表头的DataFrame
  14. head_data = pd.DataFrame(columns=['uid','contentsId','contents','likeCount'])
  15. for i in range(1,20):
  16. url = base_url.format(tv_id[-4:-2],tv_id[-2:],tv_id,i)
  17. print(url)
  18. res = requests.get(url)
  19. if res.status_code == 200:
  20. btArr = bytearray(res.content)
  21. xml=zlib.decompress(btArr).decode('utf-8') # 解压压缩文件
  22. bs = BeautifulSoup(xml,"xml") # BeautifulSoup网页解析
  23. data = pd.DataFrame(columns=['uid','contentsId','contents','likeCount'])
  24. data['uid'] = [i.text for i in bs.findAll('uid')]
  25. data['contentsId'] = [i.text for i in bs.findAll('contentId')]
  26. data['contents'] = [i.text for i in bs.findAll('content')]
  27. data['likeCount'] = [i.text for i in bs.findAll('likeCount')]
  28. else:
  29. break
  30. head_data = pd.concat([head_data,data],ignore_index = True)
  31. head_data['tv_name']= tv_name
  32. return head_data

获取tvid

上文已通过tvid获取到了弹幕文件数据，那么如何获取tvid又变成了一个问题。莫急，我们继续分析。直接Ctrl + F搜索tvid

使用Python获取爱奇艺电视剧弹幕数据的示例代码

因此可以直接从返回结果中通过正则表达式获取tvid。

  1. from requests_html import HTMLSession, UserAgent
  2. from bs4 import BeautifulSoup
  3. import re
  4. def get_tvid(url):
  5. """
  6. 获取每集的tvid
  7. :param url: 请求网址
  8. :return: str, 每集的tvid
  9. """
  10. session = HTMLSession() #创建HTML会话对象
  11. user_agent = UserAgent().random #创建随机请求头
  12. header = {"User-Agent": user_agent}
  13. res = session.get(url, headers=header)
  14. res.encoding='utf-8'
  15. bs = BeautifulSoup(res.text,"html.parser")
  16. pattern =re.compile(".*?tvid.*?(\d{16}).*?") # 定义正则表达式
  17. text_list = bs.find_all(text=pattern) # 通过正则表达式获取内容
  18. for t in range(len(text_list)):
  19. res_list = pattern.findall(text_list[t])
  20. if not res_list:
  21. pass
  22. else:
  23. tvid = res_list[0]
  24. return tvid

由此问题tvid。来每一集都有一个tvid，有多少集电视剧就可以获取多少个tvid。那么问题又来了：获取tvid时，是通过url发送请求，从返回结果中获取。而每一集的url又该如何获取呢。

获取每集url

通过元素选择工具定位到集数选择信息。通过硒模拟浏览器获取动态加载信息。

使用Python获取爱奇艺电视剧弹幕数据的示例代码

有小伙伴会说，可以直接直接从返回内容中获取此href网址啊，你可以自己动手尝试下。

云朵君尝试后得到的结果是href="javascript:void(0);" rel="external nofollow" ，因此解决这一问题的方法之一是运用硒模拟浏览器获取js动态加载信息。

  1. def get_javascript0_links(url, class_name, class_name_father, sleep_time=0.02):
  2. """
  3. Selenium模拟用户点击爬取url
  4. :param url: 目标页面
  5. :param class_name: 模拟点击的类
  6. :param class_name_father： 模拟点击的类，此类为class_name的父类
  7. :param sleep_time: 留给页面后退的时间
  8. :return: list, 点击class为class_name进去的超链接
  9. """
  10.  
  11. def wait(locator, timeout=15):
  12. """等到元素加载完成"""
  13. WebDriverWait(driver, timeout).until(EC.presence_of_element_located(locator))
  14.  
  15. options = Options()
  16. # options.add_argument("--headless") # *面,若你需要查看界面内容，可以将此行注释掉
  17. driver = webdriver.Chrome(options=options)
  18. driver.get(url)
  19.  
  20. locator = (By.CLASS_NAME, class_name)
  21. wait(locator)
  22. element = driver.find_elements_by_class_name(class_name_father)
  23. elements = driver.find_elements_by_class_name(class_name)
  24. link = []
  25. linkNum = len(elements)
  26. for j in range(len(element)):
  27. wait(locator)
  28. driver.execute_script("arguments[0].click();", element[j]) # 模拟用户点击
  29. for i in range(linkNum):
  30. print(i)
  31. wait(locator)
  32. elements = driver.find_elements_by_class_name(class_name) # 再次获取元素，预防StaleElementReferenceException
  33. driver.execute_script("arguments[0].click();", elements[i]) # 模拟用户点击
  34. time.sleep(sleep_time)
  35. link.append(driver.current_url)
  36. time.sleep(sleep_time)
  37. driver.back()
  38. driver.quit()
  39. return link
  40.  
  41. if __name__ == "__main__":
  42. url = "https://www.iqiyi.com/v_1meaw5kgh3s.html"
  43. class_name = "qy-episode-num"
  44. link = get_javascript0_links(url, class_name, class_name_father="tab-bar")
  45. for i, _link in enumerate(link):
  46. print(i, _link)

主函数

接下来通过主函数将所有步骤串起。

  1. def main(sleep_second=0.02):
  2. url = "https://www.iqiyi.com/v_1meaw5kgh3s.html"
  3. class_name = "select-item"
  4. class_name_father = "bar-li"
  5. links = get_javascript0_links(url, class_name, class_name_father)
  6. head_data = pd.DataFrame(columns=['tv_name','uid','contentsId','contents','likeCount'])
  7. for num, link in enumerate(links):
  8. tv_name = f"第{num+1}集"
  9. tv_id = get_tvid(url=link)
  10. data = get_data(tv_name,tv_id)
  11. head_data = pd.concat([head_data,data],ignore_index = True)
  12. time.sleep(sleep_second)
  13. return head_data

获取到的数据结果如下：

  1. >>> data = main()
  2. >>> data.info()
  3. """
  4. <class 'pandas.core.frame.DataFrame'>
  5. RangeIndex: 246716 entries, 0 to 246715
  6. Data columns (total 5 columns):
  7. # Column Non-Null Count Dtype
  8. --- ------ -------------- -----
  9. 0 tv_name 246716 non-null object
  10. 1 uid 246716 non-null object
  11. 2 contentsId 246716 non-null object
  12. 3 contents 246716 non-null object
  13. 4 likeCount 246716 non-null object
  14. dtypes: object(5)
  15. memory usage: 9.4+ MB
  16. """
  17. >>> data.sample(10)

使用Python获取爱奇艺电视剧弹幕数据的示例代码

词云图先分词

运用中文分词库jieba分词，并去除撤销词。

  1. def get_cut_words(content_series):
  2. """
  3. :param content_series: 需要分词的内容
  4. :return: list, 点击class为class_name进去的超链接
  5. """
  6. # 读入停用词表
  7. import jieba
  8. stop_words = []
  9. with open("stop_words.txt", 'r', encoding='utf-8') as f:
  10. lines = f.readlines()
  11. for line in lines:
  12. stop_words.append(line.strip())
  13. # 添加关键词
  14. my_words = ['倪妮', '刘诗诗', '锁锁', '蒋三岁', '陈道明']
  15. for i in my_words:
  16. jieba.add_word(i)
  17. # 自定义停用词
  18. my_stop_words = ['哈哈哈','哈哈哈哈', '真的']
  19. stop_words.extend(my_stop_words)
  20. # 分词
  21. word_num = jieba.lcut(content_series.str.cat(sep='。'), cut_all=False)
  22. word_num_selected = [i for i in word_num if i not in stop_words and len(i)>=2] # 条件筛选
  23.  
  24. return word_num_selected

后画图

运用升级版词云图库stylecloud可视化弹幕结果。

  1. import stylecloud
  2. from IPython.display import Image
  3. text1 = get_cut_words(content_series=data.contents)
  4. stylecloud.gen_stylecloud(text=' '.join(text1), collocations=False,
  5. font_path=r'‪C:\Windows\Fonts\msyh.ttc',
  6. icon_name='fas fa-rocket',size=400,
  7. output_name='流金岁月-词云.png')
  8. Image(filename='流金岁月-词云.png')

到此这篇关于使用Python获取爱奇艺电视剧弹幕数据的示例代码的文章就介绍到这了,更多相关Python获取爱奇艺电视剧弹幕数据内容请搜索服务器之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持服务器之家！

原文链接：https://www.cnblogs.com/hhh188764/archive/2021/01/11/14264268.html

标签：

相关文章