摘要:在华为全联接大会2022期间,华为正式官宣昇腾AI异构计算架构CANN 6.0版本将在年底正式发布。
本文分享自华为云社区《昇腾AI异构计算架构CANN 6.0全新开放升级,全面释放AI生产力》,作者: 昇腾CANN 。
在华为全联接大会2022期间,华为正式官宣昇腾AI异构计算架构CANN 6.0版本将在年底正式发布。
高度完善的生态满足度,满足全方位业务诉求
从2018年初露锋芒到2022年即将发布的CANN 6.0最新版本,CANN在使能AI开发效率和性能方面持续保持业界领先。作为昇腾生态的锚点,CANN 6.0版本基于发布全新升级的开发体系2.0,在性能、开放性及易用性上持续提升,在开源算法支持、自定义算子开发、动态shape场景支持等方面全方位满足AI开发者的诉求,不断提升生态满足度。
作为昇腾AI基础软硬件平台的核心,CANN搭起了从上层深度学习框架到底层AI硬件的桥梁,全面支持昇思MindSpore、飞桨(PaddlePaddle)、PyTorch、TensorFlow、Caffe、计图(Jittor)等主流AI框架,提供900多种优选模型能够覆盖众多典型场景应用,兼容多种底层硬件设备,提供强大异构计算能力。
为满足开发者多层次AI业务诉求,CANN提供统一的面向应用的编程语言AscendCL(Ascend Computing Language)屏蔽底层处理器差异,支持AI应用开发、模型开发和算子开发,版本向上兼容,让开发者零感知版本升级,畅享AI开发的便捷性。
同时,随着人工智能应用深入更多场景,图片大小、语音长短等动态数据输入的需求不断增加,CANN 6.0版本对动态shape的支持度不断提升,在新版本中,我们将会有400+算子支持动态shape,支持80%的主流算子,极大提高了AI场景生态满足度以匹配客户更多的AI业务场景。
打造极简易用算子开发体验,高效使能AI开发者
经过数年的积累和优化,CANN高性能算子库为支撑神经网络训练和推理加速而不断添砖加瓦,CANN 6.0版本已经发展到1400+高性能算子,可覆盖主流AI框架的算子加速需求。
算子库不仅支持高性能单算子执行加速,还支持入图技术,在图上通过算子融合减少计算节点和内存拷贝,进一步提升整网执行性能,以Bert网络为例,通过算子深度融合技术可将网络性能提高50%。CANN 6.0新发布的Transformer高性能加速库,针对网络典型结构精简80% kernel数,核心kernel性能提升50%-150%,可匹配昇腾全系列处理器支持NLP/CV类全场景Transformer网络,并且兼具简易的继承开发及上层框架使用等诸多优点。
CANN 6.0版本除了继续保持在典型模型上的性能优势外,还将重点在易用性方面进行提升。伴随算子自定义开发需求的增多,为了更加开放、高效的支持用户自开发,随新版本发布的开发体系2.0,在算子开发方面推出原生支持C/C++的算子开发语言,降低算子开发门槛,同时提供昇腾硬件亲和的数据结构,在保持性能的基础上提升用户自定义算子开发效率,使得算子开发效率得到倍级提升。
CANN 6.0版本将会提供包括11大类在内的70个DSL算子编程接口、新增11类算子调度策略,从而使能更多算子采用简单的DSL方式开发,算子库中DSL算子覆盖度可达80%。在开发易用性方面,开发者仅需完成计算过程表达,无需关心后续的Schedule创建、优化及编译等问题,因为这些操作将通过Auto Schedule自动调度接口快速完成。CANN同时支持算子Debug调试、一键生成工程代码、自动编译部署到算子库、简化算子交付件等功能,基于全流程解决开发者痛点,最大程度降低算子开发门槛。
持续提升模型开发效率,实现模型下载即用
CANN支持模型的自动化迁移、调测及智能调优,从真正意义上实现模型下载即用。CANN 6.0版本下,主流框架TensorFlow和PyTorch的模型迁移成功率可达80%以上,兼容主流三方库Horovod/Keras/DeepSpeed等。在此基础上还能方便地将那些随算法演进而开发的自定义kernal或function保留到框架侧执行,提升算法适配灵活度。
在模型调优方面,开发者不仅能借助一系列昇腾亲和API提升性能,还能通过智能化调优工具代替复杂的手工优化操作,CANN 6.0版本的平均调优效率将较上一代提升一倍以上。
全系列AI开发辅助工具,扫除AI开发重重障碍
作为一个全面使能AI开发的软件平台,CANN不但持续在AI模型适配、应用开发和算子开发方面给开发者带来便捷,更是从模型优化、系统分析、模型部署等多维度帮助开发者扫除重重障碍。