python 爬取世纪佳缘,经过js渲染过的网页的爬取

时间：2021-07-20 10:14:10
#!/usr/bin/python

#-*- coding:utf-8 -*-

#爬取世纪佳缘

#这个网站是真的烦，刚开始的时候用scrapy框架写,但是因为刚接触框架,碰到js渲染的页面之后就没办法了,所以就采用一般的爬虫了

#js渲染过的数据，可能在网页源码里面没有数据，需要js异步请求提取数据，然后展示，所以爬取这类的数据，只需要找到js发送请求的url就行了

#js发送的请求可能是post(比如这个例子)或者是get(比如豆瓣电影剧情的排行榜),所以要看好是什么请求

import sys

import json

#from lxml import etree

import urllib

import urllib2 

reload(sys)

sys.setdefaultencoding("utf-8") #设置默认的编码格式,把Unicode格式转换成汉字写到文件里面的时候需要用到,要配合decode("unicode_escape")使用

class shiji():

    def __init__(self):

        self.page = 1 #初始化页面的第几页

        self.filename = open("sj.json","w") #打开文件用于写入数据

    def parse_page(self):

        url = "http://search.jiayuan.com/v2/search_v2.php?" #初始url的前半段,加上后半段发送的是post请求

        headers = {"User-Agent":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36"}

        formdata = {

                "sex":"f",

                "key":"",

                "stc":"1:11,2:20.25,3:160.170,23:1",

                "sn":"default",

                "sv":"1",

                "p":self.page, #每次数据js异步提取数据的时候只有p变化了,p对应于当前页面是第几页

                "f":"select",

                "listStyle":"bigPhoto",

                "pri_uid":"170633820",

                "jsversion":"v5"

            }

        data = urllib.urlencode(formdata)

        request = urllib2.Request( url ,data = data , headers = headers)

        response = urllib2.urlopen(request)

#        print response.info().get('Content-Encoding') #这会打印出服务器返回数据的压缩方式,如果未有压缩则返回None

        js = response.read() #返回的response.read()是json格式的,但是首和尾多了一段字符串"##jiayse##"和"##jiayse##",所以下面就处理一下

        #print type(js) #字符串类型

        js = js.replace("##jiayser##","").replace("//","") #字符串里很牛X的一个函数replace()

        #print js

        content = json.loads(js) #字典类型(这个字典是大字典,key只有isLogin、count、pageTotal、userInfo，其中userInfo是每个人的资料)

        self.parse_person(content['userInfo']) #调用parse_person函数处理大字典的ueerInfo(还是字典类型的),即每个人的资料

#            print type(content['userInfo'])#字典类型

    def parse_person(self,userinfo):

        for i in range(len(userinfo)):

            form = {"昵称":userinfo[i]['nickname'],"年龄":userinfo[i]['age'],"内心独白":userinfo[i]['shortnote']} #把要爬取的数据写成一个字典

            #print form

            #print type(form)

            #不能把dict和list类型直接写入文件, 把字典写入json文件的时候要把字典转换成json字符串才行(json.dumps(form))

            #decode("unicode_escape")表示把unicode格式转换成汉字,但用一个这竟然还不行!还要加上上面的import sys... , 真麻烦

            form = json.dumps(form).decode("unicode_escape") 

            self.filename.write(form+"\n") #写入文件

        if self.page <10: #这里随便写self.page,只要不超过页面加载的范围就行

            self.page+=1

            self.parse_page() #自加一之后在调用parse_page()函数进行换页,然后接着爬

if __name__ == "__main__":

    sj = shiji()

    sj.parse_page() #调用parse_page()函数开始爬取


写这个爬虫浪费了一天的时间。。。我是真的菜。

错误总结：

关于unicode编码转汉字的方法以及UnicodeEncodeError: 'ascii' codec can't encode characters in position问题:

 https://www.cnblogs.com/technologylife/p/6071787.html

 http://blog.sina.com.cn/s/blog_64a3795a01018vyp.html

把dict写入文件的时候碰见的报的typeError的解决办法: http://blog.csdn.net/guoweish/article/details/47106263

另外加一篇ubuntu vim撤销操作的博客  http://blog.sina.com.cn/s/blog_7e9efc570101ays3.html

收获:这次的收获还可以，解决了很多没见过的bug，第一次爬取js渲染的网页的数据，值得记得的是：(1).js渲染过得网页怎么找数据来源(f12 network XHR 找是post请求还是get请求)，(2)字符串的强大替换函数replace，(3)字典写入文件怎么处理  (先转换成json的字符串再写入)，(4)unicode转汉字怎么处理(import sys + decode("unicode_escape"))

相关文章