探索智能化测试技术

摘要：随着软件迭代模式的不断发展，测试环节的自动化程度也得到了有效的、持续的提升，智能化测试是结合AI算法和测试数据对测试多个环节进行针对性的优化。

【智能化测试专题】智能化测试技术探索》，作者： DevAI。

1. 发展阶段

测试是评估和验证输入是否能得到符合预期输出的过程。测试包含了软件测试和硬件测试。测试的早期萌芽是在20世纪50年代，主要是以调试为主，验证程序是否符合预期。1957年Charles Baker在《软件测试发展》中将测试和调试区分开来，提出了测试的概念，指出测试的目的不仅仅是验证还需要确认软件是否满足要求。1983年IEEE首次召开了软件测试的技术会议，并给出了软件测试的定义。IEEE定义的软件测试明确指出测试的目的是为了检验软件是否满足需求，它是一门需要经过设计、开发和维护等完整阶段的过程。随着软件研发模式从瀑布模式到敏捷模式再到DevOps（其各环节流程如图1所示），DevOps注重Dev、Ops和QA（Tester）之间的协同合作，因此为了达到产品质量的持续改进，对测试环节流程自动化与持续进行都提出了更高的要求。

图1. DevOps流程

为了应对日益增长的产品需求与繁重的测试任务，提升测试质量和测试效率，测试团队会把测试专项能力向服务化能力转型，建立自动化为主的测试能力。测试自动化的目的为了减少手工测试和手工操作，如图2所示，测试自动化包括了自动化环境创建与部署、生成测试数据、执行自动化测试，生成测试结果与日志。并对测试相关结果进行自动化监控与分析，自动生成测试报告，以便进行测试定位失败原因与快速修复。

图2 测试自动化流程

随着人工智能、机器学习在各个领域的广泛应用，以及应对日益增长的海量数据，自动化测试工具结合AI技术生成了更可靠有效的测试，改善了测试分析的效率等，加速现有的自动化测试需求和进程。 2018年Gil Tayar在文章《6 levels of AI-based testing: Have no fear, QA pros》说明了AI驱动测试的6个自动化阶段，如图3所示，从开始的人工分析与设计自动化测试，到更多环节结合AI辅助进行自动化测试的执行、设计与决策，测试自动化程度得到了有效的、持续的提升。

图3 AI驱动测试

2. 智能化测试

智能化测试主要指在持续追求提升研发交付效能下，人工智能技术在测试领域的应用，其本质是结合了AI算法和测试数据对测试多环节进行针对性的优化，具有更强的适应性和响应能力。智能化测试是当前阶段的热门，正在越来越广泛地深入到测试各环节中。智能化测试用例全周期涉及了三个主要关键阶段，包括用例生成，用例执行，用例分析。华为云智能化测试围绕这三个阶段，基于海量测试数据和AI算法辅助测试人员进行测试用例设计和用例生成、精准筛选测试用例执行以及测试数据智能分析。

2.1 智能测试用例生成

测试用例的生成当前主要靠人工设计，并且要求测试人员具有一定的经验和专业水平，随着云化产品的功能日趋复杂、迭代周期不断加快，完全基于经验人工设计的接口测试效率十分低下。因此需要设计一种测试用例自动生成方法。

华为云在智能测试用例生成的实践方面，提出了基于接口文档和现网流量数据的智能API测试生成技术，实现了单接口与多接口业务场景的双覆盖，做到真正帮助测试人员提高工作效率，并有力保障了云化产品质量。该生成服务的具体流程如图所示，其应用前景包括但不局限于以下几个方面：

1）对于小规模测试团队或无专职测试人员的全功能团队或测试小白，可基本实现少人参与或无人参与的无代码化高度自动化Rest 接口正常场景级测试用例生成，自动化执行和判定。

2） 对于有专职测试人员、测试专家的测试团队，可低成本提升测试场景覆盖率、缺陷拦截效率，减少测试设计投入。

3）可以正常场景API测试基础上实现异常场景 （可靠性测试）和并发场景（性能压力模型）的全自动化生成，完全替代现有接口fuzz测试，实现接口全场景测试无代码化。

2.2 回归测试用例优选

在日常开发测试活动中，面对项目版本的快速迭代，通常为避免引入缺陷和最早期发现尽可能多的缺陷，测试人员需要在代码小范围变动时进行测试用例的执行。同时，全量地对测试用例进行执行消耗人力、时间成本过高。华为云智能精准回归测试用例挑选，在区分黑盒（代码不可见）、白盒（代码可见）不同模式的情况下，黑盒模式根据测试用例历史执行结果预测用例失败率并进行排序，白盒模式通过挖掘代码源文件（函数）与测试用例的关联关系筛选测试用例，精准挑选和排序缺陷探测比高的测试用例进行，以最少的人力、时间成本，发现尽可能多的缺陷。

2.3 测试数据智能分析定位

随着软件规模的持续增长以及产品迭代周期的不断加快，自动化测试用例的数量越来越大，自动化测试工程中的失败日志数量也越来越多，人工分析工作量大、时间成本高。测试数据智能分析定位旨在结合智能化算法根据失败日志和相关测试数据分析可能存在的产品问题，提升分析效率。当前华为云测试智能分析是根据产品线测试日志数据特征，在通用的日志预处理后，依照日志量采用不同方式进行特征工程，生成日志特征后，基于随机森林、最近邻、强化学习、神经网络等来做模型融合，进行失败原因的定界与定位。

PaaS技术创新Lab隶属于华为云，致力于综合利用软件分析、数据挖掘、机器学习等技术，为软件研发人员提供下一代智能研发工具服务的核心引擎和智慧大脑。我们将聚焦软件工程领域硬核能力，不断构筑研发利器，持续交付高价值商业特性！加入我们，一起开创研发新“境界”！（详情欢迎联系 [e-mail]；[e-mail])

https://www.huaweicloud.com/lab/paas/home.html

参考文献

[1] What is DevOps, https://orangematter.solarwinds.com/2022/03/21/what-is-devops/

[2] 华为云DevOps敏捷测试之道, https://support.huaweicloud.com/reference-devcloud/devcloud_reference_040302.html

[3] 6 levels of AI-based testing: Have no fear, QA pros, https://techbeacon.com/app-dev-testing/6-levels-ai-based-testing-have-no-fear-qa-pros

[4] 基于语义感知SBST的API场景测试智能生成, https://bbs.huaweicloud.com/blogs/349307

 

点击关注，第一时间了解华为云新鲜技术~