python网络爬虫基础day03

　　2019.5.17，不知不觉搞到这个点了。搞得有点晚，总结一下就睡觉：

今天主要学了验证码识别和requests模块高级操作：

验证码识别

　　验证码和爬虫之间的爱恨情仇？
　　反爬机制：验证码。识别验证码图片中的数据，用于模拟登陆操作。

　　识别验证码的操作：
 　　   - 人工肉眼识别。（不推荐）
   　　 - 第三方自动识别（推荐）
     　　   - 云打码：http://www.yundama.com/demo.htmL

　　云打码的使用流程：
 　　   - 注册：普通和开发者用户
   　　 - 登录：
   　　     - 普通用户的登录：查询该用户是否还有剩余的题分
     　　   - 开发者用户的登录：
       　　     - 创建一个软件：我的软件 -> 添加新软件 -> 录入软件名称 ->提交（软件id和秘钥）
        　　    - 下载示例代码：开发文档 -> 点此下载：云打码接口DLL -> PythonHTTP示例下载

　　实战：识别古诗文网登录页面中的验证码。

　　使用打码平台识别验证码的编码流程：
   　　 - 将验证码图片进行本地下载
   　　 - 调用平台提供的示例代码进行图片数据识别

 

# Author:K
import requests
from lxml import etree
from CodeClass import YDMHttp

def getCodeText(img_path,codeType):
    # 用户名
    
    username = '*******'  # --> 自行输入

    # 密码
    password = '********' # --> 自行输入

    # 软件ＩＤ，开发者分成必要参数。登录开发者后台【我的软件】获得！
    appid = 7756

    # 软件密钥，开发者分成必要参数。登录开发者后台【我的软件】获得！
    appkey = 'bb37e0a2e219630c84e647ff44287869'

    # 图片文件
    filename = img_path

    # 验证码类型，# 例：1004表示4位字母数字，不同类型收费不同。请准确填写，否则影响识别率。在此查询所有类型 http://www.yundama.com/price.html
    codetype = codeType

    # 超时时间，秒
    timeout = 20
    # result = None
    # 检查
    if (username == 'username'):
        print('请设置好相关参数再测试')
    else:
        # 初始化
        yundama = YDMHttp(username, password, appid, appkey)

        # 登陆云打码
        uid = yundama.login();
        print('uid: %s' % uid)

        # 查询余额
        balance = yundama.balance();
        print('balance: %s' % balance)

        # 开始识别，图片路径，验证码类型ID，超时时间（秒），识别结果
        cid, result = yundama.decode(filename, codetype, timeout);
        print('cid: %s, result: %s' % (cid, result))
    # return result

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.108 Safari/537.36'
}

url = 'https://so.gushiwen.org/user/login.aspx?from=http://so.gushiwen.org/user/collect.aspx'

page_text = requests.get(url = url,headers = headers).text
tree = etree.HTML(page_text)
img_src = tree.xpath('//*[@id="imgCode"]/@src')[0]
img_src = 'https://so.gushiwen.org' + img_src

img_data = requests.get(url = img_src,headers = headers).content
with open('code.jpg','wb') as fp:
    fp.write(img_data)

code_text = getCodeText('code.jpg',1004)
print(code_text)

 

 

 requests模块高级操作

　　模拟登录：
    　　- 爬取基于某些用户的用户信息。

　　需求：对人人网进行模拟登录。
  　　  - 点击登录按钮之后会发起一个post请求
   　　 - post请求中会携带登录之前录入的相关的登录信息（用户名，密码，验证码......）
  　　  - 验证码：每次请求都会变化

　　需求：爬取当前用户的相关的用户信息（个人主页中显示的用户信息）

　　http/https协议特性：无状态。

　　没有请求到对应页面数据的原因：
   　　 发起的第二次基于个人主页页面请求的时候，服务器端并不知道该此请求是基于登录状态下的请求。

　　cookie：用来让服务器端记录客户端的相关状态。
   　　 - 手动处理：通过抓包工具获取cookie值，将该值封装到headers中。（不建议）
    　　- 自动处理：
     　　   - cookie值的来源是哪里？
       　　     - 模拟登录post请求后，由服务器端创建。

       　　 session会话对象：
       　　     - 作用：
            　　    1.可以进行请求的发送。
            　　    2.如果请求过程中产生了cookie，则该cookie会被自动存储/携带在该session对象中。

           　　 - 创建一个session对象：session=requests.Session（）
          　　  - 使用session对象进行模拟登录post请求的发送（cookie就会被存储在session中）
           　　 - session对象对个人主页对应的get请求进行发送（携带了cookie）

　　代理：破解封IP这种反爬机制。

　　什么是代理：
　　    - 代理服务器。

　　代理的作用：
   　　 - 突破自身IP访问的限制。
    　　- 隐藏自身真实IP

　　代理相关的网站：
   　　 - 快代理
   　　 - 西刺代理
   　　 - www.goubanjia.com

　　代理ip的类型：
    　　- http：应用到http协议对应的url中
   　　 - https：应用到https协议对应的url中

　　代理ip的匿名度：
   　　 - 透明：服务器知道该次请求使用了代理，也知道请求对应的真实ip
   　　 - 匿名：知道使用了代理，不知道真实ip
   　　 - 高匿：不知道使用了代理，更不知道真实的ip

# Author:K
import requests
from lxml import etree
from CodeClass import YDMHttp

def getCodeText(img_path,codeType):
    # 用户名
    username = '******'

    # 密码
    password = '******'

    # 软件ＩＤ，开发者分成必要参数。登录开发者后台【我的软件】获得！
    appid = 7756

    # 软件密钥，开发者分成必要参数。登录开发者后台【我的软件】获得！
    appkey = 'bb37e0a2e219630c84e647ff44287869'

    # 图片文件
    filename = img_path

    # 验证码类型，# 例：1004表示4位字母数字，不同类型收费不同。请准确填写，否则影响识别率。在此查询所有类型 http://www.yundama.com/price.html
    codetype = codeType

    # 超时时间，秒
    timeout = 20
    result = None
    # 检查
    if (username == 'username'):
        print('请设置好相关参数再测试')
    else:
        # 初始化
        yundama = YDMHttp(username, password, appid, appkey)

        # 登陆云打码
        uid = yundama.login();
        print('uid: %s' % uid)

        # 查询余额
        balance = yundama.balance();
        print('balance: %s' % balance)

        # 开始识别，图片路径，验证码类型ID，超时时间（秒），识别结果
        cid, result = yundama.decode(filename, codetype, timeout);
        print('cid: %s, result: %s' % (cid, result))
    return result

session = requests.Session()

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.108 Safari/537.36'
}

url = 'http://www.renren.com/'
page_text = requests.get(url = url,headers = headers).text
tree = etree.HTML(page_text)
img_src = tree.xpath('//*[@id="verifyPic_login"]/@src')[0]

img_data = requests.get(url = img_src,headers = headers).content
with open('code.jpg','wb') as fp:
    fp.write(img_data)

result = getCodeText('code.jpg',2004)

login_url = 'http://www.renren.com/ajaxLogin/login?1=1&uniqueTimestamp=201945230922'

data = {
    'email':'18394177504',
    'icode':result,
    'origURL':'http://www.renren.com/home',
    'domain':'renren.com',
    'key_id':'1',
    'captcha_type':'web_login',
    'password':'1fa94e046b3ecc8a8c9f734255788872c0db323ada85c50b58baa5608b6d36e9',
    'rkey':'f4a2f1e217358fa5267991c5ccf35e2a',
    'f':'https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3DN0gkqFVweEtA-vMIbp4Q-eISSN6PFpiSKfHVR6V0AkbF0zjjDhGGAk9Ih-4gENZ1%26wd%3D%26eqid%3Dceaf8cce0001cd08000000035cdda6b8',
}

#这里使用session的原因是session对象会携带登陆的cookie
response = session.post(url = login_url,data = data,headers = headers)
print(response.status_code)


detail_url = 'http://www.renren.com/970837645/profile'


detail_page_text = session.get(url = detail_url,headers = headers).text

with open('detail_page.html','w',encoding = 'utf-8') as fp:
    fp.write(detail_page_text)

import http.client, mimetypes, urllib, json, time, requests


######################################################################

class YDMHttp:
    apiurl = 'http://api.yundama.com/api.php'
    username = ''
    password = ''
    appid = ''
    appkey = ''

    def __init__(self, username, password, appid, appkey):
        self.username = username
        self.password = password
        self.appid = str(appid)
        self.appkey = appkey

    def request(self, fields, files=[]):
        response = self.post_url(self.apiurl, fields, files)
        response = json.loads(response)
        return response

    def balance(self):
        data = {'method': 'balance', 'username': self.username, 'password': self.password, 'appid': self.appid,
                'appkey': self.appkey}
        response = self.request(data)
        if (response):
            if (response['ret'] and response['ret'] < 0):
                return response['ret']
            else:
                return response['balance']
        else:
            return -9001

    def login(self):
        data = {'method': 'login', 'username': self.username, 'password': self.password, 'appid': self.appid,
                'appkey': self.appkey}
        response = self.request(data)
        if (response):
            if (response['ret'] and response['ret'] < 0):
                return response['ret']
            else:
                return response['uid']
        else:
            return -9001

    def upload(self, filename, codetype, timeout):
        data = {'method': 'upload', 'username': self.username, 'password': self.password, 'appid': self.appid,
                'appkey': self.appkey, 'codetype': str(codetype), 'timeout': str(timeout)}
        file = {'file': filename}
        response = self.request(data, file)
        if (response):
            if (response['ret'] and response['ret'] < 0):
                return response['ret']
            else:
                return response['cid']
        else:
            return -9001

    def result(self, cid):
        data = {'method': 'result', 'username': self.username, 'password': self.password, 'appid': self.appid,
                'appkey': self.appkey, 'cid': str(cid)}
        response = self.request(data)
        return response and response['text'] or ''

    def decode(self, filename, codetype, timeout):
        cid = self.upload(filename, codetype, timeout)
        if (cid > 0):
            for i in range(0, timeout):
                result = self.result(cid)
                if (result != ''):
                    return cid, result
                else:
                    time.sleep(1)
            return -3003, ''
        else:
            return cid, ''

    def report(self, cid):
        data = {'method': 'report', 'username': self.username, 'password': self.password, 'appid': self.appid,
                'appkey': self.appkey, 'cid': str(cid), 'flag': '0'}
        response = self.request(data)
        if (response):
            return response['ret']
        else:
            return -9001

    def post_url(self, url, fields, files=[]):
        for key in files:
            files[key] = open(files[key], 'rb');
        res = requests.post(url, files=files, data=fields)
        return res.text

# Author:K
import requests

url = 'https://www.baidu.com/s?wd=ip'

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.108 Safari/537.36'
}

page_text = requests.get(url = url,headers = headers,proxies = {'https':'120.234.63.196:3128'}).text

with open('ip.html','w',encoding = 'utf-8') as fp:
    fp.write((page_text))

 

另外，对于人人网的个人主页爬取有点疑问，代码如下：

# Author:K
# ！！！！！！！！！！！！！！！！ 为什么取不到href？？？？？？？？？？
import requests
from lxml import etree

url = 'http://www.renren.com/970837645'

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.108 Safari/537.36'
}

page_text = requests.get(url = url,headers = headers).text

tree = etree.HTML(page_text)
href = tree.xpath('//*[@id="nxHeader"]/div/div/div/dl/dt/a/@href')
print(href)

 

以上内容参考波波老师的视频，波波老师讲的真的很好。强烈推荐！附上学习链接：https://www.apeland.cn/python/8/449

好了。时间不早了，睡觉。。。。。。脑子转不了了。。。。