新浪微博搜索页用户信息爬取

在成功登陆之后，我们可以进行下一波操作了~

接下来，我们的目的是通过输入关键字，找到相关用户，并收集用户的一些基本信息

 

环境

tools

1、chrome及其developer tools

2、python3.6

3、pycharm

 

Python3.6中使用的库

import urllib.error
import urllib.request
import urllib.parse
import urllib
import re
import json
import pandas as pd
import time
import logging
import random
from lxml import etree

 

关键词搜索

我们首先在微博首页输入关键词，进入搜索页面

 

搜索后，我们发现网址为http://s.weibo.com/user/%25E4%25B8%258A%25E8%25AE%25BF&Refer=weibo_user

很显然，前面的“http://s.weibo.com/user/”网页基础地址，“%25E4%25B8%258A%25E8%25AE%25BF”看起来很像关键词的一种编码形式，最后的一段内容我们先放一边，点击进入下一页继续观察规律

进入第二页后，我们发现网址变为http://s.weibo.com/user/%25E4%25B8%258A%25E8%25AE%25BF&page=2

这时，我们需要猜想，如果将“page=”之后的数字改为1，是否会跳转回首页：

成功了，这样我们就可以将url分为三部分。

 

现在，我们需要对中间编码部分进行解析，发现它经过两次url编码。

因此，最后搜索页的url连接如下：

import urllib.request

keyword = '*'
once = urllib.request.quote(keyword)
pagecode = urllib.request.quote(once)

i = 1   # 页数
url = 'http://s.weibo.com/user/' + pagecode + '&page=' + str(i)

 

用户基本信息提取

接下来，我要对用户的一些基本信息进行爬取。

经过观察，初步确定了搜索页面所能爬取到的用户信息字段：

• 微博ID——_id
• 微博名——name
• 地区——location
• 性别——gender
• 微博地址——weibo_addr
• 关注——follow
• 粉丝——fans
• 微博数——weibo_num
• 简介——intro
• 职业——职业信息
• 教育——教育信息
• 标签——标签

　　（其中，红色字段是必有的。）

 我们将先对【必有字段】进行爬取，再研究如何爬取【非必有字段】。

 

首先我们先观察网页源码，定位到用户主体部分【可以用Chrome自带的developer tools中的element进行定位】

于是我们发现，开头为“<script>STK && STK.pageletM && STK.pageletM.view({"pid":"pl_user_feedList"”，我们可以通过正则表达式，寻找出该内容

此外，仔细观察还能发现()里面的内容为json格式。

万岁~~

这样对我们提取所需的html内容十分的有帮助~~

data = urllib.request.urlopen(url,timeout=30).read().decode('utf-8') 

lines = data.splitlines()
for line in lines:
    if not line.startswith('<script>STK && STK.pageletM && STK.pageletM.view({"pid":"pl_user_feedList","js":'):
        continue

    json_pattern = re.compile('\((.*)\)')
    # 利用正则取出json
    json_data = json_pattern.search(line).group(1)
    # 将json包装成字典并提取出html内容
    html = json.loads(json_data)['html']

 

然后开始正式的网页内容解析，先对【必有字段】进行解析。

这里，我们依旧需要借助Chrome上的developer tools

通过elements，我们定位到微博名对应的html内容，我们可以利用lxml中的etree和xpath获取title名。

同理，我们也可以得到其他必有字段，最后我们讲所有内容存储成一个dict，每个key对应的value则为一个list：

page = etree.HTML(html)
info_user['name'] = page.xpath('//a[@class="W_texta W_fb"]/@title')
info_user['_id'] = page.xpath('//a[@class="W_btn_b6 W_fr"]/@uid')
info_user['weibo_addr'] = page.xpath('//a[@class="W_texta W_fb"]/@href')
info_user['gender'] = page.xpath('//p[@class="person_addr"]/span[1]/@title')
info_user['location'] = page.xpath('//p[@class="person_addr"]/span[2]/text()')
info_user['follow'] = page.xpath('//p[@class="person_num"]/span[1]/a/text()')
info_user['fans'] = page.xpath('//p[@class="person_num"]/span[2]/a/text()')
info_user['weibo_num'] = page.xpath('//p[@class="person_num"]/span[3]/a/text()')

 

最后是对【非必有字段】的爬取

该类字段爬取的思代码逻辑是这样的

利用lxml包中的etree抓取子树（class="person_detail")

再对子树下的枝干进行遍历，判断是否存在简介（class="person_info"）和标签（class="person_label"），分别进行不同的处理

值得注意的是，部分标签下的内容不止一个，因此我们必须对标签内容进行一次判断和遍历。

由于简介和标签分别处于两个枝干，因此可以编辑两个不同的函数进行提取：

# 提取简介信息
def info(self, p, path):
    '''
    extract introduction of users
    :param p: input an etree
    :param path: input xpath which must be a string
    :return: a string
    '''
    if type(path) == str:
        info = p.xpath(path)
        if len(info) == 0:
            sub_info = ''
        else:
            sub_info = info[0]

        return sub_info
    else:
        print('please enter the path as a string')

# 提取标签信息：标签、教育信息、工作信息
def labels(self, p, path, key):
    '''
    extract labels, such as hobbits, education, job, of users
    :param p: input an etree
    :param path: input xpath which must be a string
    :param key: keywords of labels
    :return: a string
    '''
    label = p.xpath(path)
    if len(label) == 0:
        sub_label = ''
    else:
        for l in label:
            label_name = re.compile('(.*?)：').findall(l.xpath('./text()')[0])
            if label_name[0] == key:
                # 读取出标签信息下的所有标签内容
                all_label = l.xpath('./a/text()')
                l = ''
                for i in all_label:
                    l = re.compile('\n\t(.*?)\n\t').findall(i)[0] + ',' + l
                    sub_label = l
            else:
                sub_label = ''

    return sub_label

 

构造完函数后，可以提取所有用户的信息啦~

需要注意的是，返回的内容是单个子树下的一个string，遍历当前页的所有用户的信息，则需要做成list：

info_user['intro'] = []
info_user['标签'] = []
info_user['职业信息'] = []
info_user['教育信息'] = []
others = page.xpath('//div[@class="person_detail"]')
for p in others:
    path1 = './div/p/text()'
    info_user['intro'].append(self.info(p, path1))
    path2 = './p[@class="person_label"]'
    info_user['标签'].append(self.labels(p, path2, '标签'))
    info_user['职业信息'].append(self.labels(p, path2, '职业信息'))
    info_user['教育信息'].append(self.labels(p, path2, '教育信息'))

 

遍历所有页面

在成功实践了用户基本信息的爬取之后，需要遍历所有的网页

这里，我们可以用很傻瓜的方法，自己观察一共有几页，然后编一个for循环

然鹅！！！博主我绝对不会干这种蠢事的！！！必须要有一个更加装x的方式来遍历才行！

 

于是，继续依赖developer tools，找到点击下一页对应的元素，我们发现了一个神奇的东西——class="page next S_txt1_S_line1"

这不就是绝佳的定位是否存在下一页的神器么！！！

于是，最佳代码逻辑诞生啦~~

通过判断能否提取出该内容来决定是否进入还需进入下一页i += 1

i = 1
Flag = True
while Flag:
    # 构建url
    url = 'http://s.weibo.com/user/' + pagecode + '&page=' + str(i)
    try:
        # 超时设置
        data = urllib.request.urlopen(url,timeout=30).read().decode('utf-8')
    except Exception as e:
        print('出现异常 -->'+str(e))

    …………

    next_page = page.xpath('//a[@class="page next S_txt1 S_line1"]/@href')[0]
    if len(next_page) == 0 :
        Flag = False
    else:
        page_num = re.compile('page=(\d*)').findall(next_page)[0]
        i = int(page_num)

 

撒花~~~代码的整体逻辑就这么完善啦~~~

最后，我们需要解决的就是反爬的问题了，博主在这方面还没有深入研究过

不过主要思路还是有的：

1. 每次遍历设置一个time.sleep()
2. 设置好详细的头文件
3. 寻找代理IP

 

最后完整版代码就不贴上来啦~~如果有疑问可以在下面回复多多交流~

撒花完结~~