有道翻译的爬取

有道翻译的爬取

Python作为爬虫的强大人尽皆知，一个人不使用python爬取些什么，那么他的Python生涯一定是不完整的，这里简单写一下用Python爬取有道翻译的教程。

关于有道翻译的爬取网上链接很多，这里爬取的时候发现有道反爬虫机制有一个小bug，直接绕过就可以了。

话不多说，现在开始。

一 服务器数据的获取

打开有道翻译：http://fanyi.youdao.com/     (本人用谷歌浏览器)

右击检查、点击network

在翻译框输入任意字符后点击headers

将每一项挨个点开，寻找post项（浏览器向服务器返回数据一项）

这里得到返回的服务器地址：

Request URL: http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule

向服务器返回的数据向下拖可以看到：

这些数值将以字典形式返回到服务器。其中（salt,sign,ts,bv）四种形式为反爬虫机制需要的数据，我们把它删去就好（为什么这个反爬虫没生效？）

然后将返回地址http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule

改为：

http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule

二  python代码的书写

由于urllib自带对返回数据的处理，我们只需要将返回值以字典的形式传入，并且通过

Data=urllib.parse.urlencode(dir)即可对数据进行处理，生成返回值

通过request.Urlopen返回一个字典：

用json处理后读取即可

三 结果如下图

本人在此处还搭配了itchat，实现微信的简单翻译。

四 源码如下

from urllib import request
import urllib
import json
import itchat,os,pinyin,shutil
from itchat.content import *
def youdao_tran(tran_word):
    url=\'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule\'
data={\'i\':tran_word,
\'from\':\'AUTO\',
\'to\':\'AUTO\',
\'smartresult\':\'dict\',
\'client\':\'fanyideskweb\',
\'doctype\':\'json\',
\'version\':\'2.1\',
\'keyfrom\':\'fanyi.web\',
\'action\':\'FY_BY_REALTIME\',
\'typoResult\':\'false\'}
    data=urllib.parse.urlencode(data).encode(\'utf-8\')
    responce=request.urlopen(url,data)
    reply=json.loads(responce.read().decode(encoding=\'utf-8\'))[\'translateResult\'][0][0][\'tgt\']
print(reply)
return reply
@itchat.msg_register(TEXT)#只对文本信息进行操作
def auto_reply(msg):
if msg[\'Text\'].split(\':\')[0]==\'翻译\':
        defaultReply = youdao_tran(msg[\'Text\'].split(\':\')[1])
return defaultReply
# 为了让实验过程更加方便（修改程序不用多次扫码），我们使用热启动
itchat.auto_login(hotReload=True)#生成Qcode码，扫描成功即可登录网页版微信
itchat.run()