今天来做一个好玩的,这个脚本做出来需要一点脑洞,hh~
当然,当你可以用adb控制手机的时候,不止能干这么些,还有更多有意思的,这就需要更大的脑洞了,比如自动薅羊毛~
思路:
- 利用adb截手机实时图
- 利用python图像处理库PIL处理图片将问题和答案的那一块截出来
- 利用百度识图,将图片转为中文字符串
- 利用百度搜索,搜索已转为中文字符串的问题
- 统计百度返回网页源码中对应答案出现的次数,出现次数最多的则视为正确答案
- 继续利用adb模拟点击手机中答案位置
什么是adb?
adb即 Android Debug Bridge,我们一般简称为adb,它是一个非常强大的命令行工具,通过这个工具你能够利用电脑与你的android设备进行交互。
adb下载:百度网盘获取:链接:https://pan.baidu.com/s/1tElgryyIuKRJ3h1PPSgGLw 密码:reop
记得将解压后的工具包添加到系统变量上,这样方便你用python脚本调用它。
可以参考这篇博文:常用的adb命令
一、将手机与电脑连接上
这一步首先需要手机开启开发者模式,因为各个手机打开的方式不一样,请根据自己机型自行百度。
然后是将手机用usb线连接电脑,在cmd下输入adb devices
若有如下图的返回则手机和电脑连接成功:
二、按上面的思路来打码
1、 利用adb截手机实时图
2、利用python图像处理库PIL处理图片将问题和答案的那一块截出来
这两步放在一个函数里就行了
这里先说一说下面一些(left, upper, right, lower)坐标是怎么确定的
首先,从微信进入头脑王者2,开始一场比赛
将比赛的有题目图截下来,截到图片的一般大小都是(1920*1080),比如下图:
然后以实际尺寸打开这张图片,再用截图工具量一下所需位置的宽高(当你截图时,一般截图工具会显示将要截的像素大小),或者你有更好的方法就另说。比如下两图是我获取问题的位置(左,上,右,下)的思路,其他位置也是这样获取:
然后就确定这些坐标了~
adb截手机实时图代码:
import os import random import requests import subprocess from PIL import Image from aip import AipOcr from io import BytesIO def get_screenshot(): process=subprocess.Popen(\'adb shell screencap -p\',shell=True,stdout=subprocess.PIPE) #相对于在cmd下执行了adb shell screencap -p,将会去截手机屏幕图 screenshot=process.stdout.read() #读取截到的数据 screenshot=screenshot.replace(b\'\r\n\', b\'\n\') #adb直接截的图在有点的问题,以二进制替换一下字符就可以了。 img_fb=BytesIO() #BytesIO操作二进制数据,因为图片是二进制文件 img_fb.write(screenshot) #写入内存 img=Image.open(img_fb) #在内存打开图片 title_img=img.crop((200,420,890,790)) #裁剪原图,对应(left, upper, right, lower)剪出来的是问题那部分图片 answers_img=img.crop((80,960,1000,1720)) #裁剪原图,剪出来的是答案那部分图片 new_img=Image.new(\'RGBA\',(920,1140)) #新建一张图片,用来保存上面剪问题和答案部分,就是去掉了玩家头像之类的那些杂质 new_img.paste(title_img,(0,0,690,370)) #问题粘贴到新建的大图 new_img.paste(answers_img,(0,380,920,1140)) #答案粘贴到新建的大图,过滤了不必要的元素 new_img_fb=BytesIO() new_img.save(new_img_fb,\'png\') #保存图片 with open(\'test.png\',\'wb\') as f: f.write(new_img_fb.getvalue()) return new_img_fb #返回新生成的图片
3、利用百度识图,将图片转为中文字符串
到百度云注册个账号:直达
到控制台-产品服务-人工智能-文字识别创建一个文字识别的应用如下,这种普通的文字识别每月有5w次的免费次数(开通这个应用免费,不用实名认证),我感觉没什么特殊的要求的话这已经绰绰有余了。
创建之后要找到这个位置,待会要用到里面的key:
对,还要pip安装百度云的python sdk
pip install baidu-aip
详情可到这里看看:文档直达
具体的利用:
def get_word_by_image(img): APPID = \'\' APIKey = \'\' SecretKey = \'\' #这三个都在账号里面,上面有提到 client = AipOcr(APPID, APIKey, SecretKey) #创建链接 res=client.basicGeneral(img) #将图片传过去 return res #识图结果
4、利用百度搜索,搜索已转为中文字符串的问题
5、统计百度返回网页源码中对应答案出现的次数,出现次数最多的则视为正确答案
这两个也在一个函数里~
写个简单的爬虫逻辑就行了,如下:
def baidu(question,answer): url=\'https://www.baidu.com/s\' headers={\'User-Agent\':\'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36\'} data={ \'wd\':question } res=requests.get(url=url,params=data,headers=headers) res.encoding=res.apparent_encoding html=res.text for i in range(len(answer)): answer[i]=(html.count(answer[i]),answer[i],i) #循环4次,将答案在百度返回源码中出现的次数统计出来 answer.sort(reverse=True) #按降序排序答案,以出现在源码中次数最高的为答案 return answer
6、继续利用adb模拟点击手机中答案位置
def click(point): cmd=\'adb shell input swipe %s %s %s %s %s\'%( point[0], point[1], point[0]+random.randint(0,3), #swipe实际上是拖动手机,这里加randint(0,3)是为了模拟长按手机 point[1]+random.randint(0,3), 200 #上面4个为坐标,这个200为持续点击的时间ms为它的单位 ) os.system(cmd)
三、利用以上函数
config={ #配置 \'头脑王者\':{ \'title\':(200,420,890,790), #用来记录标题的位置 \'answers\':(80,960,1000,1720), \'point\':[ (316,993,723,1078), (316,1174,723,1292), (316,1366,723,1469), (316,1570,723,1657),#四个答案的位置 ] } } def run(): print(\'准备答题\') while True: input(\'请按回车键开始答题:\') img=get_screenshot() info=get_word_by_image(img.getvalue()) if info[\'words_result_num\']<5: continue answers=[x[\'words\'] for x in info[\'words_result\'][-4:]] #提取返回的对应题目答案的中文字符串,这个与百度云返回的数据结构有关,不必深究,会用就行 question=\'\'.join([x[\'words\'] for x in info[\'words_result\'][:-4]]) #提取返回的问题的中文字符串 res=baidu(question,answers) print(question) print(res) print(config[\'头脑王者\'][\'point\'][res[0][2]]) click(config[\'头脑王者\'][\'point\'][res[0][2]]) #模拟点击
四、总结
因为脚本有多次图像处理及连接网络的要求,所以效率会有点慢的其实。
而且也不一定对,因为是靠百度的答案,若你有题库就能快很多了。
The end~