爬取一条微博的所有转发链接

时间：2021-07-08 03:43:34

需求分析

因朋友需求，需要删除在微博上的一些非法转发，故给出链接的根节点，只查询根节点的第一层节点，并删除第一层节点的所有转发。

本人python初学者，有什么写的不好的地方，请指出，与大家一起学习交流。
文章结尾附上完整代码，同时还有详细的说明文档，请自行下载。

  • 前期准备
    安装python3x
    导入requests、bs4等必须的库

导入命令

pip install requests
pip install bs4
  • 网页分析
    需要在简易版微博上爬取
    验证微博登录的cookie
    爬取所有转发的人的id(每个人的id是固定的)和文章号(同一篇文章每个人会生成不同的文章号)

代码分析

  1. 登录cookie存储
    打开网址：https://weibo.cn/pub
    点击登录
    打开调试工具，即按F12，同时调到Network
    输入帐号密码点击登录
    在调试工具中找到weibo.cn，复制cookie

  2. 获取单个页面的所有转发链接

def getComment(url,file):
    """ 获取单个链接页面中的转发连接 :param url:评论页面链接 :param file: 文件对象 """
    try:
        html = requests.get(url, cookies=cook).content
        soup = BeautifulSoup(html, "html.parser")
        r = soup.findAll('div', attrs={"class": "c"})
        for e in r:
            size = 0
            name = ''
            uid = ''
            article = ''
            for item in e.find_all('a',href=re.compile("/u")):
                size = size + 1
                name = item.text
                uid = item.get('href').split("/")[2];
            for item in e.find_all('span',attrs={"class":"cc"}):
                size = size + 1
                str = item.find('a').get("href").split("/")
                article = str[2]
            if size == 2:
                link = 'https://weibo.com' + '/' + uid + '/' + article
                try:
                    file.write(link + '\n')
                except IOError:
                    print("存入目标文件有误，请重新选择文件")
                    raise IOError("存入目标文件有误，请重新选择文件")
    except Exception as e:
        print("**********请求连接失败**********")
        raise Exception()
  1. 得到一个根节点的所有转发页面链接，即获取共多少页转发(一篇微博可能有几十页的转发量)
def getUrlList(url):
    """ 获取一个根的所有的转发页面链接 :param url: 主页面链接 :return: 所有评论链接 """
    form_action = url
    url = comment_page + url
    html = requests.get(url, cookies=cook).content
    soup = BeautifulSoup(html, "html.parser")
    list = []
    form = soup.find("form", attrs={"action": "/repost/" + form_action})
    a = form.find('a').get('href')
    b = a[0:len(a)-1] #页面的第一部分
    c = form.find("div").text.split("/")[1]
    d = len(c) -1
    e = c[0:d]
    for i in range(1,int(e) + 1):
        list.append(page + b + str(i))
    return list
  1. main函数

在任意地方创建input.txt，每一行是一个根文章的文章号

input.txt
Fnp688CaA
Fnp688CaA
Fnp688CaA

创建或不创建output.txt都可以指定输出文件名和路径即可


if __name__ == '__main__':
    use_reading()
    input_file_name = r"C:\Users\syl\Desktop\input.txt"
    output_file_name = r"C:\Users\syl\Desktop\output.txt"
    getTreeComment(input_file_name,output_file_name)

使用文档说明，点这里下载

完整代码如下

# -*- coding: utf-8 -*-
import codecs
import requests
from bs4 import BeautifulSoup
import re
import time
import os
import traceback


# ***********基本信息请谨慎更改**********
page = 'https://weibo.cn' # 简易版微博首页地址
main_page = 'https://weibo.com' # 正式版微博首页地址
comment_page = 'https://weibo.cn/repost/' #简易版微博评论页面地址
##请登录帐号查找自己的cookie填入此处
cook = {"Cookie":"请自行更换"} #放入你的cookie信息。
# ***************************************


def getUrlList(url):
    """ 获取一个根的所有的转发页面链接 :param url: 主页面链接 :return: 所有评论链接 """
    form_action = url
    url = comment_page + url
    html = requests.get(url, cookies=cook).content
    soup = BeautifulSoup(html, "html.parser")
    list = []
    form = soup.find("form", attrs={"action": "/repost/" + form_action})
    a = form.find('a').get('href')
    b = a[0:len(a)-1] #页面的第一部分
    c = form.find("div").text.split("/")[1]
    d = len(c) -1
    e = c[0:d]
    for i in range(1,int(e) + 1):
        list.append(page + b + str(i))
    return list

def getComment(url,file):
    """ 获取单个链接页面中的转发连接 :param url:评论页面链接 :param file: 文件对象 """
    try:
        html = requests.get(url, cookies=cook).content
        soup = BeautifulSoup(html, "html.parser")
        r = soup.findAll('div', attrs={"class": "c"})
        for e in r:
            size = 0
            name = ''
            uid = ''
            article = ''
            for item in e.find_all('a',href=re.compile("/u")):
                size = size + 1
                name = item.text
                uid = item.get('href').split("/")[2];
            for item in e.find_all('span',attrs={"class":"cc"}):
                size = size + 1
                str = item.find('a').get("href").split("/")
                article = str[2]
            if size == 2:
                link = 'https://weibo.com' + '/' + uid + '/' + article
                try:
                    file.write(link + '\n')
                except IOError:
                    print("存入目标文件有误，请重新选择文件")
                    raise IOError("存入目标文件有误，请重新选择文件")
    except Exception as e:
        print("**********请求连接失败**********")
        raise Exception()



def getAllComment(list,filename):
    """ 获取一个根节点的所有评论链接 :param list: 评论页面集合 """
    file = codecs.open(filename, "w", "utf-8")
    for link in list:
        try:
            getComment(link, file)
        except Exception as e:
            print("**********请重新运行程序**********")
            break
        time.sleep(1)
    file.close()

def readFile(filename):
    """ 获取根节点 :param filename:根节点所在的文件 :return: 根节点集合 """
    list = []
    if not os.path.isfile(filename):
        print("*******************文件不存在请检查文件是否存在*******************")
        raise Exception("*******************文件不存在请检查文件是否存在*******************")
        return
    file = open(filename)
    lines = file.readlines()  # 调用文件的 readline()方法
    for line in lines:
        if len(line) != 0:
            a = line.strip()
            list.append(a)
    return list

def getTreeComment(input_file_name,output_file_name):
    """ 获取文件中所有连接的转发链接 :param input_file_name:读取文件 :param output_file_name:输入文件 """
    start = time.time()
    print("-----------计时开始-----------")
    output_file_name = path_change(output_file_name)
    i = 0
    tree_list = readFile(input_file_name)

    for link in tree_list:
        i = i + 1
        print("**********************写入第" + str(i) + "个文件，请耐心等待***************************")
        getAllComment(getUrlList(link),output_file_name + str(i) + '.txt')
        print("**********************第" + str(i) + "个文件，写入完毕*********************************")
    total_time = time.time() - start
    print(u"-----------总共耗时：%f 秒-----------" % total_time)
def path_change(filename):
    str = filename[0:len(filename)-4]
    return str
def use_reading():
    print("******************************************************************************")
    print("* 使用必读 *")
    print("* 一般来说每写入100个链接大约耗时18s *")
    print("* 如果转发链接大于1w条，请耐心等待 *")
    print("* 使用前请耐心阅读使用文档 *")
    print("*****************************************************************************")



if __name__ == '__main__':
    use_reading()
    input_file_name = r"C:\Users\syl\Desktop\main.txt"
    output_file_name = r"C:\Users\syl\Desktop\douban.txt"
    getTreeComment(input_file_name,output_file_name)
标签：

相关文章