1.目的(原创文章,转载请注明出处~)
主要为指引开展android平台应用的稳定性测试,尽可能地在应用发布前发现crash及anr等问题并修复,android平台的应用均适用并可定制接入。
主要达到下班前执行,第二天上班时查看分析测试日志的目的,实现了以下核心功能:
a、可批量同时对多台android手机进行测试;
b、可对一台android设备选择模式为连续多次测试;
c、输入保存monkey运行时日志文件和用logcat抓取app运行时日志
2.环境搭建
3.1、java jdk环境配置:安装jdk,并添加系统环境变量,点击参考
3.2、android sdk环境配置(建议使用方法2):
方法1:下载安装SDK for Windows:
设置sdk下面tools的环境变量
右击“计算机”-》属性-》高级系统设置-》环境变量-》
点击Path,将“D:\android-sdk-windows\platform-tools”添加到变量值中,与之前的变量值用“;”隔开。
方法2:可通过安装android模拟器的方式实现(较简单),可直接搜索下载droid 4x海马玩模拟器。
安装成功后设置环境变量:
右击“计算机”-》属性-》高级系统设置-》环境变量-》
点击Path,将“D:\Program Files\Droid4X”添加到变量值中,与之前的变量值用“;”隔开。
3.3、python环境搭建:安装python 2.7或3.5版本,并添加系统环境变量,点击参考
3.测试前准备
2.1、每台待测android设备手工安装好待测试app应用,若为需要登录才能使用app功能的应用请先手工完成登录操作,并确保跳过相应的app新手引导页。
2.2、待测试android设备通过USB数据线与PC主机相连,并通过360手机助手之类的工具确保手机与pc是可进行adb调试的)。如下所示,在cmd命令中输入adb devices,所列的设备如果状态为device则代表该设备已可与PC通过adb调试通信。(建议一台PC机所连接android设备不超过5)
2.3、执行monkey测试前,一定要确保屏幕处于解锁状态。设置屏幕超时时间为最大时间(设置->显示->休眠->30分钟或者从不)。以防测试过程中手机锁屏,影响monkey测试。
4.测试工具介绍
4.1 monkey工具
Monkey是Android中的一个命令行工具,可以运行在模拟器里或实际设备中。它向系统发送伪随机的用户事件流(如按键输入、触摸屏输入、手势输入等),实现对正在开发的应用程序进行测试。Monkey测试是一种为了测试软件的稳定性、健壮性的快速有效的方法。点击详细了解monkey
4.2 adb工具
Android调试桥接器,简称adb,是用于管理模拟器或真机状态的万能工具。Adb工具在本稳定性测试方案中主要作为PC与手机的通信桥梁。点击详细了解adb
4.3 python脚本功能说明
此脚本可以达到同时进行多台手机的测试,并可选择单次测试和同一台设备多次连续测试,具体功能说明如下:
Python脚本执行说明:在pc上快捷键“win+R”打开cmd命令行,输入:python E:\monkey_test\monkey_dist.py(脚本的绝对路径)
# -*- coding: GB2312 -*- import os import os.path import time import glob # 删除已有测试cmd脚本 path = "E:\\monkey_test\\" for file in glob.glob(os.path.join(path, '*.cmd')): os.remove(file) os.system("cls") # os.system("cls")具有清屏功能 rt = os.popen('adb devices').readlines() # os.popen()执行系统命令并返回执行后的结果 n = len(rt) - 2 print "当前已连接待测手机数为:" + str(n) aw = raw_input("是否要开始你的monkey测试,请输入(yes or no): ") if aw == 'yes': print "monkey测试即将开始...." count = raw_input("请输入你要进行的monkey测试次数: ") testmodel = raw_input("请输入你是要进行单次测试还是多次连续测试,请输入(1-代表单次测试,2-代表多次连续测试): ") ds = range(n) for i in range(n): nPos = rt[i + 1].index("\t") ds[i] = rt[i + 1][:nPos] dev = ds[i] promodel = os.popen( "adb -s " + dev + ' shell cat /system/build.prop | find "ro.product.model="').readlines() # 获取手机型号 #modelname = ('').join(promodel) # 将list转为字符串 modelname = promodel[0] #从list中取出第一个值 model = modelname[17:].strip('\r\n') proname = os.popen( "adb -s " + dev + ' shell cat /system/build.prop | find "ro.product.brand="').readlines() # 获取手机名称 roname = proname[0] name = roname[17:].strip('\r\n') packagename = os.popen( "adb -s " + dev + ' shell pm list packages | find "xxx"').readlines() package = packagename[0] pk = package[8:].strip('\r\n') if pk == 'com.xxx': filedir = os.path.exists("E:\\monkey_test\\") if filedir: print "File Exist!" else: os.mkdir("E:\\monkey_test\\") devicedir = os.path.exists("E:\\monkey_test\\" +name + '-' + model + '-' + dev) if devicedir: print "File Exist!" else: os.mkdir("E:\\monkey_test\\" +name + '-' + model + '-' + dev) # 按设备ID生成日志目录文件夹 wl = open("E:\\monkey_test\\" +name + '-' + model + '-' + ds[i] + '-logcat' + '.cmd', 'w') #wl.write('adb -s ' + dev + ' logcat -v time ACRA:E ANRManager:E System.err:W *:S') wl.write('adb -s ' + dev + ' logcat -v time *:W') wl.write('> E:\\monkey_test\\' + '"'+ name + '-'+ model + '-' + dev + '"' + '\\logcat_%random%.txt\n') wl.close() ': wd = open("E:\\monkey_test\\" +name + '-' + model + '-' + ds[i] + '-device' + '.cmd', 'w') wd.write( 'adb -s ' + dev + ' shell monkey -p com.xxx --monitor-native-crashes --ignore-crashes --pct-syskeys 5 --pct-touch 55 --pct-appswitch 20 --pct-anyevent 20 --throttle 200 -s %random% -v ' + count) # 选择设备执行monkey wd.write('> E:\\monkey_test\\' + '"'+ name + '-'+ model + '-' + dev + '"' + '\\monkey_%random%.txt\n') wd.write('@echo 测试成功完成,请查看日志文件~') wd.close() ': wd = open("E:\\monkey_test\\" +name + '-' + model + '-' + ds[i] + '-device' + '.cmd', 'w') wd.write(':loop') wd.write('\nset /a num+=1') wd.write('\nif "%num%"=="4" goto end') wd.write( '\nadb -s ' + dev + ' shell monkey -p com.xxx --monitor-native-crashes --ignore-crashes --pct-syskeys 5 --pct-touch 55 --pct-appswitch 20 --pct-anyevent 20 --throttle 200 -s %random% -v ' + count) # 选择设备执行monkey wd.write('> E:\\monkey_test\\' + '"'+ name + '-'+ model + '-' + dev + '"' + '\\monkey_%random%.txt\n') wd.write('@echo 测试成功完成,请查看日志文件~') wd.write('\nadb -s '+ dev +' shell am force-stop '+ pk) wd.write('\n@ping -n 15 127.1 >nul') wd.write('\ngoto loop') wd.write('\n:end') wd.close() else: print "请确认待测手机"+name + '-' + model +"未安装com.xxx~" # 执行上述生成的cmd脚本path='E:\\monkey_test\\' for file in os.listdir(path): if os.path.isfile(os.path.join(path, file)) == True: if file.find('.cmd') > 0: os.system('start ' + os.path.join(path, '"' + file + '"')) # dos命令中文件名如果有空格,需加上双引号 time.sleep(1) elif aw == 'no': print('请重新确认所有待测手机是否已通过adb命令连接至pc!') else: print "测试结束,输入非法,请重新输入yes or no!"
1.查找当前已连接的测试设备;
2.设置当前要进行的monkey测试次数;
3.设置要进行的测试模式:单次or 多次连续;
4.完成1~3步后,会由python生成相应的android设备的cmd批处理脚本,然后自动扫描执行所有已生成的批处理脚本,以进行monkey稳定性测试。
5、测试结果分析
查看测试日志(进入日志文件夹E:\monkey_test,目前会同时保存monkey运行时的日志和logcat抓取app运行时的实时日志,monkey日志主要关注是否含关键字: crash、exception、anr,logcat日志主要关注是否含关键字:E/ACRA和weloop相关的exception。目前先手工搜索进行检查,日志分析工具后续提供~)
如下所示,某次测试中导致APP崩溃的现象,logcat日志如下(将有效的异常日志提交给相应的开发同学进行确认问题所在):
06-03 14:04:26.730 E/ACRA ( 9152): ACRA caught a RuntimeException exception for com.xx.xxx.xxx.xxx. Building report.
06-03 14:04:27.229 W/ActivityManager( 718): Activity pause timeout for ActivityRecord{2e729252 u0 com.xx.xxx.xxx.xxx./pl.gatti.dgcam.DgCamActivityForTommy2 t874 f}
06-03 14:04:28.238 W/recents.Performance( 934): preload while task Change spend : 1
06-03 14:04:29.761 E/ACRA ( 9152): com.xx.xxx.xxx.xxx. fatal error : Unable to pause activity {com.xx.xxx.xxx.xxx./pl.gatti.dgcam.DgCamActivityForTommy2}: java.lang.RuntimeException: Camera is being used after Camera.release() was called
06-03 14:04:29.761 E/ACRA ( 9152): java.lang.RuntimeException: Unable to pause activity {com.xx.xxx.xxx.xxx./pl.gatti.dgcam.DgCamActivityForTommy2}: java.lang.RuntimeException: Camera is being used after Camera.release() was called
06-03 14:04:29.761 E/ACRA ( 9152): at android.app.ActivityThread.performPauseActivity(ActivityThread.java:3613)
06-03 14:04:29.761 E/ACRA ( 9152): at android.app.ActivityThread.performPauseActivity(ActivityThread.java:3568)
06-03 14:04:29.761 E/ACRA ( 9152): at android.app.ActivityThread.handlePauseActivity(ActivityThread.java:3543)
06-03 14:04:29.761 E/ACRA ( 9152): at android.app.ActivityThread.access$1000(ActivityThread.java:178)
06-03 14:04:29.761 E/ACRA ( 9152): at android.app.ActivityThread$H.handleMessage(ActivityThread.java:1557)
06-03 14:04:29.761 E/ACRA ( 9152): at android.os.Handler.dispatchMessage(Handler.java:111)
06-03 14:04:29.761 E/ACRA ( 9152): at android.os.Looper.loop(Looper.java:194)
06-03 14:04:29.761 E/ACRA ( 9152): at android.app.ActivityThread.main(ActivityThread.java:5779)
06-03 14:04:29.761 E/ACRA ( 9152): at java.lang.reflect.Method.invoke(Native Method)
06-03 14:04:29.761 E/ACRA ( 9152): at java.lang.reflect.Method.invoke(Method.java:372)
06-03 14:04:29.761 E/ACRA ( 9152): at com.android.internal.os.ZygoteInit$MethodAndArgsCaller.run(ZygoteInit.java:1005)
06-03 14:04:29.761 E/ACRA ( 9152): at com.android.internal.os.ZygoteInit.main(ZygoteInit.java:800)
06-03 14:04:29.761 E/ACRA ( 9152): Caused by: java.lang.RuntimeException: Camera is being used after Camera.release() was called
06-03 14:04:29.761 E/ACRA ( 9152): at android.hardware.Camera.lock(Native Method)
06-03 14:04:29.761 E/ACRA ( 9152): at pl.gatti.dgcam.a.b(ProGuard:76)
06-03 14:04:29.761 E/ACRA ( 9152): at pl.gatti.dgcam.DgCamActivityForTommy2.l(ProGuard:555)
06-03 14:04:29.761 E/ACRA ( 9152): at pl.gatti.dgcam.DgCamActivityForTommy2.onPause(ProGuard:547)
06-03 14:04:29.761 E/ACRA ( 9152): at android.app.Activity.performPause(Activity.java:6215)
06-03 14:04:29.761 E/ACRA ( 9152): at android.app.Instrumentation.callActivityOnPause(Instrumentation.java:1363)
06-03 14:04:29.761 E/ACRA ( 9152): at android.app.ActivityThread.performPauseActivity(ActivityThread.java:3595)
06-03 14:04:29.761 E/ACRA ( 9152): ... 11 more
附:常见问题
1、脚本检测出来的手机数与待测手机数不一致,此时需要手工检查确认是否所有手机USB连接/USB调试模式均已打开;
2、部分华为手机权限未放开,导致logcat未能捕获monkey执行测试时的应用日志;如提示:
则华为手机进入拨号界面输入:*#*#2846579#*#* 依次选择:工程菜单---后台设置----LOG设置---LOG开关 将四个选项点击打开。
3、因为monkey工具为随机事件测试,故会误打开系统的音乐播放器播放音乐。