摘要:AI技术发展,正由应用落地阶段向效率化生产阶段演进,AI工程化能力将会不断深入业务,释放企业生产力。
本文分享自华为云社区《【云享·人物】华为云AI高级专家白小龙:AI如何释放应用生产力,向AI工程化前行?》,作者: 华为云社区精选。
在新科技革命和产业变革的大环境中,人工智能技术迭代和商业化进程不断提速,正在加快与千行百业深度融合。
如果说,简单的AI能力调用是新手入门,AI开发是登堂入室,深入行业应用就是真正的大师了。然而,AI开发过程中如果没有使用开发平台,开发过程就会比较繁琐,对于开发者和企业来说更是耗时耗力,所以找到一个合适的AI开发平台十分关键。
作为华为云机器学习和深度学习技术专家、ModelArts产品架构师,白小龙在10余年AI领域的工作中,也见证了近几年业界AI发展的历程。本期的《云享人物·大咖面对面》,华为云开发者社区将和这位AI行业的深耕者聊一聊AI技术开发的世界。
AI开发平台让开发者走出代码泥沼,低门槛高效率完成AI开发
随着技术发展和应用,AI开发的组件数量和模型算法的复杂度都在增加,AI开发流程太多,前期准备工作复杂。最典型的就是在做机器学习项目的过程中,通常需要花费大量的时间去做数据收集和数据预处理,这些前期准备的工作非常耗费人力和时间。AI开发涉及的因素众多,作为AI算法人员,为了将项目落地需要则需要做非常多的工程化工作,以云平台为依托进行AI开发,则可以大幅提升开发效率。
“对于开发者来说,好的AI开发平台能够很好的承载完整的AI开发过程,如具备数据采集、数据预处理、算法开发、模型训练、模型打包和部署等功能,帮助开发者把所有苦活累活都干完,让开发者聚焦在最核心的问题建模。” 白小龙谈到。
为此,华为云推出了AI开发生产线ModelArts。自2018年ModelArts发布以来,从1.0版本迭代到5.0版本,一直围绕着开发者的需求与痛点,在AI全生命周期各环节不断丰富产品功能,打造 AI开发运维的DevOps全流程。作为国内率先支持MLOps的AI开发平台,ModelArts在数据处理、算法开发、训练、推理和全流程MLOps上不断创新,在AI开发方面提供平台能力、开发流程、开发工具等,帮助开发者提升AI生产效率。
华为云AI开发生产线ModelArts流程示意图
数据处理作为AI开发的第一步,通常需要大量人力对各种原始数据进行标注,业内甚至有说法是“有多少人工,就有多少智能”。为了缓解这种情况,ModelArts采用基于主动学习的智能标注技术,让人工标注数据量降到最小。ModelArts的智能标注功能,可节省70%以上的标注时间。
- “基于‘AI for AI’的思想,ModelArts把很多AI算法应用于人工智能平台中。”白小龙进一步解释道,机器学习算法是有很多的冗余性,这些更多的是来自于数据的冗余,冗余的数据又进一步导致了数据准备时间的增加。为此,ModelArts提供一些数据处理的内置算法,能够自动的去获取到数据里边的冗余,从而把它提取出来,让数据的准备过程变得更加高效。
- 在算法层面,ModelArts已经在图像分类、目标检测、视觉分类、姿态预估等多个领域提供预置算法。目前已提供了60+官方算法,比如说ResNet50、YOLOV5等等。基于预置算法降低AI开发难度,ModelArts可以很好的帮助初级开发者快速地找到合适且具备实际应用的算法,从而低门槛完成多种场景的AI算法开发与应用。以“ResNet50”算法、花卉识别数据集为例,开发者只需下载数据集和订阅算法(免费),然后使用算法创建训练模型,将所得的模型部署为在线服务即可完成。
- 在开发环境和工具方面,ModelArts针对数据分析提供了云原生Notebook,可支持交互式编程和可视化体验以及分享、重现。同时,ModelArts还提供VSCode等IDE插件,支持用户远程开发调试,针对已经运行中的作业,也可以通过webshell方式进入容器内部做调试。
在此基础上,华为云将传统软件工程的CI/CD技术引入到AI开发过程中,将ModelArts的一些能力串联在一起,以开发流水线的方式进行AI开发。“升级之后的ModelArts可从从跨项目和跨时间两个维度来提升开发效率。” 白小龙讲到。
Workflow流程示意图
白小龙进一步解释到,对于相似的项目需求而言,可以仅做简单的数据准备,就可以复用已有的WorkFlow。从华为内部做项目的经验来看,复用模型和开发过程能将整个项目的效率提升一倍以上。此外,在时间维度方面,一个已经上线的AI模型在推理服务期间会不断地接受新的推理数据,基于这些新数据可以触发WorkFlow的持续迭代,加速模型更新的效率。
面向多样化的云边端场景,行业开发者平均需要花费1~2个月来完成AI应用对多种运行设备和系统的开发适配,耗时耗力。为此,ModelArts升级服务,推出了可用于端边云场景的AI应用开发框架ModelBox。通过屏蔽掉AI开发过程中常遇到的底层软硬件的差异难题,实现AI应用一次开发、全场景部署,将跨平台开发适配周期缩短80%,将推理性能提升2~10倍。白小龙表示,目前ModelBox希望能适配市面上的更多类型的硬件设施,华为为此将其开源,希望吸纳更多开发者和企业的力量,让AI开发更加的简单便捷。
ModelArts“AI工程化”能力,打通AI落地千行百业最后一公里
当下,AI技术应用的增长速度非常快,非常多的细分行业已经开始应用AI技术。企业在不同的场景,都存在AI应用的需求。从技术上看,AI开发正呈现工程化趋势加速AI应用落地。
一站式高效AI开发生产线ModelArts
AI工程化意味着AI技术的成熟和良好的使用体验,对希望借助人工智能实现智能化的企业而言,能显著降低技术投入和快捷组建开发团队。华为云将AI工程化能力深入到企业业务中,用AI释放生产力。ModelArts通过端到端的链接,把核心算法包装成流水线,用户在遇到类似场景可以直接复用,通过预置算法、预训练模型、Workflow,打通AI落地最后一公里。“基于已经完成的某个业务场景的经验,使用WorkFlow SDK或者图形化界面将数据处理、模型训练、模型部署等能力编排起来,然后把流水线发布给业务应用人员。对于应用者来说不一定需要了解整个开发实现细节,他们只需要了解流水线的机制,以及需要存在变化的内容即可。”白小龙进一步解释到。
- 在加速AI的行业落地方面,AI Gallery沉淀了9大行业场景Usecase供开发者调用。包括出行调度、销量预测、生产排程、货架识别、工业质检等,覆盖生产、销售、服务、运营等企业运作全场景。开发者和伙伴,可以在AI Gallery上学习AI、开发AI、分享AI资产,基于AI Usecase进行商业实践。
例如零售领域,华为云联合伙伴打造货架识别Usecase,发挥AI智能巡店的价值。这套行业Usecase可以实现巡店翻拍检测、查重识别、竞品识别、货架占比等。在实际应用中,客户货架管理效率综合提升30%以上,预计每年可减少巡店成本超过100万。
ModelArts打造9大行业场景Usecase
- 在AI资产重用方面,AI开发助手ModelArts Pilot可以实现AI行业应用零代码开发。随着AI资产库越来越丰富,甚至面向整个业务问题的解决方案都可以通过AI资产库获得。基于此背景,一种基于AI资产重用的AI开发新范式:ModelArts AI开发助手ModelArts Pilot发布了。
ModelArts Pilot通过引导客户直接输入需求,通过语义理解将行业或业务问题转换为AI问题,并基于已有模型库进行查搜、推荐和调优,实现AI应用自动生成和解决方案的迁移复用。ModelArts Pilot具备“零代码开发”“丰富的模型资源”“自动化”和“持续进化”四项优势。
AI开发助手ModelArts Pilot
华为云AI全链路赋能开发者和伙伴,实现生态共发展
不得不说,当同时集齐便捷的开发平台、大模型架构,以及开发框架,华为云为用户构建出了一个较为完整的软硬件生态系统,能够为开发和企业带来开发效率和开发体验的多维度提升。
在企业服务方面,为了深度打通企业AI开发需求,实现定制化AI能力的准确对接,华为云发布了D-PLAN生态伙伴计划。D-PlAN AI 生态伙伴计划是围绕华为云一站式AI开发平台ModelArts推出的一项合作伙伴计划,旨在与合作伙伴一起构建合作共赢的AI生态体系,加速AI应用落地,华为云向伙伴提供培训、技术、营销和销售的全面支持。白小龙表示,这一计划通过与合作伙伴共建AI生态体系的方式,全方位打通AI开发中的堵点、难点,以并肩协作的方式加速AI应用落地。面向企业AI开发体量大、需求复杂,定制化程度高的客观情况,华为云D-PLAN以更合理、直接的方式进行赋能。帮助企业快速从AI能力中获取价值回报。
为了更好的帮助到AI开发爱好者,华为云还推出了“知识”+“实训”的AI开发社区——AI Gallery,这里有:算法、模型、数据、Notebook案例、课程、论文、实践等10余种、50000余个AI资产。AI Gallery通过联接AI市场的供、需、学三方,既能解决开发者需求,同时也满足AI生态中各角色的共享、交易需求,加速AI资产的开发与落地,保障AI开发生态链上各参与方高效地实现各自的商业价值。
白小龙讲到,除了外部提供的支持和帮助,开发者自身也需要从行业应用出发,能够做好将行业问题到AI技术问题的转换,增强自己的在AI工程化方面的能力,结合工程化能力的优势,将其与行业结合,这样能为行业带来非常大的价值。
从这一刻,写下AI未来
人工智能正在从高深莫测的黑科技,变身为辅助工作、生活不可或缺的重要组成部分,持续提供创造力和生产力。
随着AI由技术落地应用阶段向效率化生产阶段转变,AI的后半场以场景驱动,AI工程化能力突显价值。将AI开发趋向于生产线模式的ModelArts,会继续在MLOps方面深耕。
ModelArts接下来会有一些更好的新特性上线,如灵活的资源管理和资源调度能力,更易用的调试环境,让企业和开发者能够用到更便捷、更顺畅的AI开发平台。这也是白小龙眼中ModelArts未来的样子:“让AI开发变得更简单,更顺畅!”
华为云EI开发者支持团队将为合作伙伴提供AI、大数据相关的技术支持,帮助伙伴上手华为云EI的开发平台或集成原子化AI服务,并将提供商业化落地的支持,诚邀伙伴参与共建AI开发者生态。如有AI合作需求请联系cloud.ai.partner@huawei.com,(我们将在1个工作日之内为您反馈)