端云协同,打造更易用的AI计算平台
内容来源:华为开发者大会2021 HMS Core 6 AI技术论坛,主题演讲《端云协同,HUAWEI HiAI Foundation打造更易用的AI计算平台》。
演讲嘉宾:华为海思AI技术专家
大家好!HHUAWEI HiAI Foundation作为芯片使能的基础平台,基于“芯、端、云”三层开放架构,构筑全面开放的智慧生态,帮助开发者快速利用AI处理能力,为用户提供更好地智慧应用体验。充分利用华为麒麟芯片能力,HUAWEI HiAI Foundation在实时性上,避免网络延迟和拥塞;在隐私性上,保护本地图片、视频、语音信息以及操作习惯等;在成本方面,开发者可最大化利用芯片算力,节省计算成本和带宽成本。自2018年发布以来,HUAWEI HiAI Foundation第三方应用的调用量逐年递增,目前日调用量已破百亿,获得了开发者的价值认可。
HUAWEI HiAI Foundation开放框架
HUAWEI HiAI Foundation之所以受到欢迎的原因是其支撑更多主流推理框架,在引领端侧AI行业标准构筑的同时通过开源,让更多开发者灵活高效地优化模型。
2021年上半年,我们已经完成了与KwaiNN、Bytenn、MNN、TNN等框架的对接。在此基础上,HUAWEI HiAI Foundation可以支撑华为手机以及各产品线非常多的业务和应用。比如视频剪辑、录像直播、线上支付、地图、输入法等。
通过以上框架图,我们可以看到HUAWEI HiAI Foundation作为基础平台,主要由推理加速平台和异构计算平台两个部分组成。推理加速平台的作用是跟更多的上层推理框架完成对接,帮助开发者聚焦模型优化;异构计算平台则更好地使能NPU、CPU、GPU、DSP等计算IP,充分利用芯片算力。之后,HUAWEI HiAI Foundation可以实现多平台统一的赋能手机、平板、智慧屏、音箱等基于麒麟芯片的华为产品,并与HarmonyOS深度融合,在鸿蒙生态中起到端侧AI能力的积极作用。
HUAWEI HiAI Foundation端云协同方案优势
HUAWEI HiAI Foundation上线后,我们还遇到了很多问题。比如在一个应用新特性发布后,业务算子性能需要不断优化并跟随手机等ROM系统版本更新推送,使得整体上线周期较长。部分机型停止支持服务(EOS)后,则无法享受最新的性能优化。由此,开发者的诉求也很明晰,就是跟随互联网节奏,帮助业务快速发布上线以及覆盖更多机型,囊括EOS的机型。
为解决上述典型问题及开发者对接时提出的若干其它问题,HUAWEI HiAI Foundation今年在两个方面进行了重大升级。一是基于端云协同的计算库独立升级能力。支持计算库动态升级,保证性能优化的算子库更快推送至端侧,同时通过插件进行模型编译,保持更优的异构策略和高性能的融合模板。目前,这个能力已经在HarmonyOS 2.0版本上线,满足合作伙伴的快速业务上线需求。
二是易用性的升级。我们会提供更丰富的接口调用,更易懂的用户手册、Demo演示和工具包。具体来说主要包括以下四点:
- Model Zoo助力开发者快速使能NPU加速。Model Zoo综合了硬件优化模型库、模型优化指导以及技术交流社区的能力,通过它开发者可以快速知道哪一类模型在硬件上跑得速度更快,如何优化模型结构获取更好的能效收益等。技术交流社区除了便于开发者参与讨论交流外,也为后续高校科研合作项目、AI技术竞赛等提供基础。
- 推出高性能、低功耗、高精度、小模型的模型调优工具。包括模型量化工具包和模型结构搜索工具包。前者推出了16bit、8bit、4bit、2bit和自适应混合量化,模型小巧而灵动,可以保障不丢失模型计算进度。后者则更多是通过自动搜索方式,帮助开发者结合硬件信息调整模型结构,使之更加敏捷快速。
- 异构计算——CPU、GPU、NPU等IP的高效协同。下图列举了一个典型的数据流。从视频解码器到图像预处理,再到图像处理、渲染优化、送显等,经过了非常多的IP计算。那么这些IP怎样在较长的数据流中高效协同呢?这就需要多IP自动异构。它可以自动融合优化各计算节点,共享计算内存,做到多IP间数据零拷贝。另外,多IP的调度任务可以自动编排,支持优先级控制和节点间内存自动分配。
- 模型可视化——用户模型信息可见,提升调优效率。在模型结构可视化工具(Netron)上,开发者可以直接看到HUAWEI HiAI Foundation的模型结构,更加便利。
如今,HUAWEI HiAI Foundation已加入AI标准化组织AITISA(人工智能产业技术创新战略联盟),并参与端侧AI标准草案撰写,共同构筑AI行业标准。为了让开发者更好地使用端侧AI能力,HUAWEI HiAI Foundation会保持初心,做更好、更易用的端侧AI计算平台,服务、赋能开发者,提升应用体验,谢谢 !
了解更多详情>>
访问华为开发者联盟官网
获取开发指导文档
华为移动服务开源仓库地址:GitHub、Gitee
关注我们,第一时间了解 HMS Core 最新技术资讯~