一、引言
随着移动互联网的蓬勃发展，国内手机用户已经达到6亿以上，但由于移动APP的产品迭代周期短，且使用的机型、网络和场景，都比原来PC端更加多样化和复杂化。传统的测试方法，在测试时间、机型网络覆盖等问题上，都显得力不从心。企鹅众测（也称Tesly平台）力图通过让用户协助测试的方式，来解决上述问题。
企鹅众测产品白皮书（下称”白皮书”）将从产品研发背景、Tesly功能特点、典型应用、工作流程和收费模式几个方面来介绍企鹅众测平台。
二、产品研发背景
1、行业现状
目前，国内在软件众测领域，主要有企鹅众测、百度众测和Testin众测三个众测平台。
（1）百度众测
主要服务于内部的数据收集类任务，偏向于众包形式。
（2）Testin众测
提供第三方产品的Bug探索服务，团队作业（21人），业务模式单一。
（3）企鹅众测
累计服务腾讯内部几十款产品，并获得良好口碑。业务模式上，除了Bug探索，还提供竞品对比评测、软件性能评测、跨APP H5测试、Crash定位、产品体验等服务，并可动态指定测试用户人数（最多单任务可达到千人级别）。
2、企鹅众测的优势
图1企鹅众测的优势
（1）用户覆盖广
主要体现在遍布全国的真实用户、覆盖上千款机型和所有运营商网络，真实的用户使用场景。
同时，Tesly支持按照地区、网络、机型的多重条件过滤
（2）快速的交付
普通任务两天内交付结果报告。
紧急任务4小时内交付报告。
（3）详尽的报告
任务用户反馈统计报告，版本质量一目了然
反馈详情：提供文字、图片、视频、logcat、机型等各种信息
三、企鹅众测介绍
1、概述
企鹅众测是让真实用户参与测试的一个平台，APP研发团队提出众测需求给Tesly平台，平台将众测需求下发给用户，并收集用户反馈，最后生成测试报告给APP研发团队。
企鹅众测支持应用、游戏、H5混合应用等多种产品形态，3.2节将详细介绍Tesly支持的能力类型。
2、能力介绍
目前Tesly支持下面的服务Bug探索、产品调研、数据收集和产品评测四大类任务类型。
图2企鹅众测支持的任务类型
（1）Bug探索
1）真人真机众测
真实用户参与测试，包括模块化测试、全量测试等，用户的使用场景多样，机型、网络和地域分布广泛，能够发现更多内部测试无法发现的问题。同时，可以让产品预先知道产品上线后的情况，增加发布信心。
2）机型适配（兼容性测试）
针对某个或者部分出现问题的机型，下发给该机型的用户进行测试，节省了大量购买手机的费用和时间。
3）Bug复现
对于某些用户反馈的bug，内部无法复现或者复现代价过大，可以交给众测，让成千山万用户同时协助进行Bug复现。
（2）产品调研
1）问卷调查
针对产品的某项功能或产品原型，下发调查问卷收集用户的想法和意见，辅助产品经理对功能进行决策和了解功能在用户中的口碑。
（3）数据收集
1）数据标注
数据标注类任务，主要解决因数量庞大而内部需耗费大量人力和时间的问题。最常见的是：地理位置收集类、小说内容错误类等。
2）问题库建设
问题库建设，主要是满足项目组可以快速拿到出现问题的样本进行验证的需求，问题库一般包括但不限于：文件库、视频库、网页库等。
在产品开发过程中，经常出现用户反馈了问题，但是内部无法拿到相应的问题样本进行验证的情况，比如：手机浏览器的文件打开功能，经常出现用户反馈某类文件显示有问题，但是内部无法找到出现该问题的文档。
（4）产品评测
1）产品评测
产品评测类，主要是让用户对产品进行深度体验，并提供功能体验报告，报告内容涉及：产品各项功能体验情况、对产品的建议，并提出不合理的设计和Bug。
2）竞品对比
竞品对比主要是从用户角度，实际体验产品和竞品之间在功能、性能等负面的差异，包括但不限于：用户主观感受、性能数据、优劣势等。
3、用户介绍
（1）平台用户量
目前，众测平台用户注册数10万，每月活跃用户接近1万，用户来自全国各个省份地区，覆盖了国内所有的运营商网络，基本覆盖了所有安卓主流机型（上千款）。
（2）年龄和职业分布
众测平台的用户偏向于年轻化，24岁以下的用户居多，大部分是高中和大学生。
图3众测用户年龄、学历分布
（3）机型覆盖
众测用户覆盖上千款机型，top机型为小米、魅族、华为、联想等国内主流机型；安卓系统方面，覆盖了Android2.3~6.0的所有操作系统。
图4众测用户机型分布
图5众测用户系统分布
（4）网络覆盖
众测用户覆盖国内三大运营商的所有网络类型，运营商包括：移动、联通和电信；网络类型包括：WIFI、4G、3G和2G。
图6众测用户网络分布
（5）地域覆盖
从地域上看，众测用户覆盖全国所有省份和地区，其中以广东、河南、山东为最。
图7众测用户地域分布
四、典型应用和案例
1、典型应用场景
表1：企鹅众测典型应用场景
2、典型应用案例
（1）Bug探索
1）真人真机众测
表2：企鹅众测案例-Bug探索
2）机型适配（兼容性测试）
表3：企鹅众测案例-Bug探索
3）Bug复现
表4：企鹅众测案例-Bug探索
（2）数据收集
1）数据标注(快速判断)
表5：企鹅众测案例-数据收集
表6：企鹅众测案例-数据收集
2）问题库建设
表7：企鹅众测案例-数据收集
（3）产品评测
1）竞品对比
表8：企鹅众测案例-产品评测
五、工作流程
图8众测接入流程
1、需求沟通
需求提供方，只需要提供下面材料给众测平台接口人即可：
1）需求关注点；
2）需求关注点对应的截图；
3）如果是内测软件，请提供安装包；
4）『可选』众测平台提供自动上传附件功能（包括项目组自己打的log、记录文件等），如果需要众测协助上传，只需要将附件写到Tesly指定目录下即可；
众测平台接口人收到测试需求后，会第一时间与需求提供方进行沟通确认，确认完毕便可向用户发布众测任务，确认阶段耗时一般不会超过半小时。
2、任务分发
Tesly通过众测平台后台，向用户分发众测任务，发布的用户群体支持机型、地区、网络等多种维度的筛选，满足任务条件的用户可以在Android客户端/PC网页端接收测试任务。
任务分发到用户侧，1天内召集300~500的测试用户，2天内可以召集500~1000的测试用户。任务分发的时间长短，由需求提供方指定。分发过程由众测平台完成，项目组不需要投放人力参与。
3、反馈收集
用户通过Tesly客户端/PC端网页端，可以方便的提交反馈到Tesly后台，后台会自动将反馈提交到对应的任务。
普通任务上线1~2天，便可以完成反馈收集的目的。反馈的数量，跟众测的产品和任务需求息息相关，普通测试类任务，一般能够收到100个以上的用户反馈。
4、反馈跟进
需求提供方通过众测后台对反馈进行跟进，包括对反馈进行查看和标注（标为重点关注，标注完成后，非重点关注的反馈，将由众测平台统一关闭）。反馈支持一键导出到Excel，如果是腾讯内部产品，支持一键转到Tapd。
在此阶段，需求提供方需要投入人力对用户反馈进行跟进，而如果对每个用户反馈的问题都跟进，势必会投入过多的人力和时间，众测平台建议按照优先级从高到底来跟进用户反馈：
1）严重Bug提单跟进；
2）反馈人数在两个以上的Bug提单跟进；
3）可复现或者有Logcat信息充足的Bug提单跟进；
4）其他的Bug，视投入产出比而定。
5、任务报告
当项目组筛选完用户反馈之后，众测平台会自动生成任务报告。
6、反馈举例
下面通过一个具体的bug，来介绍用户反馈包含的内容：文字描述、截图、视频、log、机型、网络等信息。
在bug详情页面，可以通过点击用户QQ号，直接跟用户进行联系，省去添加好友的繁琐步骤。
图9众测Bug详情举例
关注微信公众号：腾讯移动品质中心TMQ，获取更多测试干货！
