MNN简介

时间:2022-12-06 16:03:30

一、轻量级高性能推理引擎

    1.简介   

        MNN 是一个高效、轻量的深度学习框架。它支持深度模型推理与训练,尤其在端侧的推理与训练性能在业界处于领先地位。目前,MNN 已经在阿里巴巴的手机淘宝、手机天猫、优酷、钉钉、闲鱼等 20 多个 App 中使用,覆盖直播、短视频、搜索推荐、商品图像搜索、互动营销、权益发放、安全风控等 70 多个场景。此外,IoT 等场景下也有若干应用。

特性:

  • 通用性 - 支持TensorFlow、Caffe、ONNX等主流模型格式,支持CNN、RNN、GAN等常用网络。

  • 高性能 - 极致优化算子性能,全面支持CPU、GPU、NPU,充分发挥设备算力。

  • 易用性 - 转换、可视化、调试工具齐全,能方便地部署到移动设备和各种嵌入式设备中。

PS:对于移动推理引擎,MNN有三个贡献点:

  • 提出了预推理机制,在线计算推理成本和最优方案
  • 优化了kernel
  • 提出后端抽象实现混合调度

开源网址:GitHub - alibaba/MNN: MNN is a blazing fast, lightweight deep learning framework, battle-tested by business-critical use cases in Alibaba

 官方网址:MNN - AI For Everyone

MNN 的论文(架构设计理念与性能数据):https://arxiv.org/abs/2002.12418

(曾在 MLSys 2020 上面发表)

2.整体特点

轻量性

  • 针对端侧设备特点深度定制和裁剪,无任何依赖,可以方便地部署到移动设备和各种嵌入式设备中。
  • iOS 平台:armv7+arm64 静态库大小 5MB 左右,链接生成可执行文件增加大小 620KB 左右,metallib 文件 600KB 左右。
  • Android 平台:so 大小 400KB 左右,OpenCL 库 400KB 左右,Vulkan 库 400KB 左右。

通用性

  • 支持 TensorflowCaffeONNX 等主流模型文件格式,支持 CNNRNNGAN 等常用网络。
  • 支持 86 个 TensorflowOp、34 个 CaffeOp;各计算设备支持的 MNN Op 数:CPU 71 个,Metal 55 个,OpenCL 29 个,Vulkan 31 个。
  • 支持 iOS 8.0+、Android 4.3 + 和具有 POSIX 接口的嵌入式设备。
  • 支持异构设备混合计算,目前支持 CPU 和 GPU,可以动态导入 GPU Op 插件,替代 CPU Op 的实现。

高性能

  • 不依赖任何第三方计算库,依靠大量手写汇编实现核心运算,充分发挥 ARM CPU 的算力。
  • iOS 设备上可以开启 GPU 加速(Metal),常用模型上快于苹果原生的 CoreML。
  • Android 上提供了 OpenCLVulkanOpenGL 三套方案,尽可能多地满足设备需求,针对主流 GPU(Adreno 和 Mali)做了深度调优。
  • 卷积、转置卷积算法高效稳定,对于任意形状的卷积均能高效运行,广泛运用了 Winograd 卷积算法,对 3x3 -> 7x7 之类的对称卷积有高效的实现。
  • 针对 ARM v8.2 的新架构额外作了优化,新设备可利用半精度计算的特性进一步提速。

易用性

  • 有高效的图像处理模块,覆盖常见的形变、转换等需求,一般情况下,无需额外引入 libyuv 或 opencv 库处理图像。
  • 支持回调机制,可以在网络运行中插入回调,提取数据或者控制运行走向。
  • 支持只运行网络中的一部分,或者指定 CPU 和 GPU 间并行运行。
  • 针对端侧设备特点深度定制和裁剪,无任何依赖,可以方便地部署到移动设备和各种嵌入式设备中。
  • iOS 平台:armv7+arm64 静态库大小 5MB 左右,链接生成可执行文件增加大小 620KB 左右,metallib 文件 600KB 左右。
  • Android 平台:so 大小 400KB 左右,OpenCL 库 400KB 左右,Vulkan 库 400KB 左右。

二、架构设计

MNN简介

MNN简介

 如上图所示,MNN 可以分为 Converter 和 Interpreter 两部分。

  • Converter 由 Frontends 和 Graph Optimize 构成。前者负责支持不同的训练框架,MNN 当前支持 Tensorflow (Lite)、Caffe 和 ONNX (PyTorch/MXNet 的模型可先转为 ONNX 模型再转到 MNN);后者通过算子融合、算子替代、布局调整等方式优化图。
  • Interpreter 由 Engine 和 Backends 构成。前者负责模型的加载、计算图的调度;后者包含各计算设备下的内存分配、Op 实现。在 Engine 和 Backends 中,MNN 应用了多种优化方案,包括在卷积和反卷积中应用 Winograd 算法、在矩阵乘法中应用 Strassen 算法、低精度计算、Neon 优化、手写汇编、多线程优化、内存复用、异构计算等。