摘要：在开发初期开发者往往聚焦在模型的精度上，性能关注较少，但随着业务量不断增加，AI应用的性能往往成为瓶颈，此时对于没有性能优化经验的开发者来说往往需要耗费大量精力做优化性能，本文为开发者介绍一些常用的优化方法和经验。
本文分享自华为云社区《如何使用ModelBox快速提升AI应用性能》，作者： panda。
随着AI技术和计算能力的发展，越来越多的开发者学会用tensorflow、pytorch等引擎训练模型并开发成AI应用以解决各种生产问题。在开发初期开发者往往聚焦在模型的精度上，性能关注较少，但随着业务量不断增加，AI应用的性能往往成为瓶颈，此时对于没有性能优化经验的开发者来说往往需要耗费大量精力做优化性能，本文为开发者介绍一些常用的优化方法和经验。本文首先介绍什么是AI应用性能优化，以及常用的性能优化手段，然后介绍华为云ModelBox开源框架，最后结合实际业务为例，详细讲解如何利用ModelBox框架进行快速的性能优化以及背后的原理。
一、AI应用常用性能优化方法
1、什么是AI应用性能优化
什么是AI应用性能优化？ AI应用性能优化是保证结果正确的情况下，提升AI推理应用执行效率。AI应用性能优化的目的一般分为两方面：一方面可以提升用户体验，如门禁系统刷脸场景，对推理时延比较敏感，识别速度直接影响用户感官，再比如自动驾驶场景，对时延要求非常高；另一方面可以降低硬件成本，相同的硬件设备可以支撑更多的业务，当部署节点数具备一定规模时，节省的硬件成本就相当可观了。
如何去衡量性能的好坏？我们通常使用吞吐量和时延来衡量。 吞吐量在不同场景也有不同衡量指标，比如图片请求场景，一般使用qps作为吞吐量的指标，即每秒种处理的请求个数。在视频流场景，则一般使用视频并发路数来衡量。 时延是指数据输入到结果输出中间的处理时间差。正常来讲吞吐量越大越好，时延越小越好，在不同场景对吞吐量和时延的要求不一样， 对于某些时延不敏感的场景，我们可以牺牲时延来提升吞吐量。所以我们在做性能优化前需要先明确优化指标是吞吐量还是时延。
