AI专家一席谈:复用算法、模型、案例,AI Gallery带你快速上手应用开发
摘要: 华为云社区邀请到了AI Gallery的负责人严博,听他谈一谈AI Gallery的设计初衷、经典案例以及未来规划。
本文分享自华为云社区《AI专家一席谈:复用算法、模型、案例,AI Gallery带你快速上手应用开发》,作者:华为云社区精选 。
你见过哪些有趣又实用的AI开发案例呢?
比如让静态照片上的人物开口唱歌,动漫角色也可以哦;再比如通过识别各类野生动物并分析种群结构,进而实施保护;又或者智能检测口罩佩戴的规范性,助力疫情防护……
这些场景化的AI案例,都可以在华为云AI Gallery上找到对应的模型,通过不断训练,你也可以实现。AI Gallery上拥有算法、模型、数据、Notebook等丰富而优质的AI资产, 开发者可以直接复用这些资产,解决AI应用开发的难题。
纵观AI应用的整个开发流程,从数据采集、标注,到算法模型的构建,每个环节都会产生许多可以复用的AI资产,而AI Gallery的目的就是充分发挥这些资产的效用,提高AI开发效率。
那么,它是如何汇聚这些AI资产,又是如何让资产效用最大化地帮助到开发者高效的进行AI开发呢?
华为云社区邀请到了AI Gallery的负责人严博士,听他谈一谈AI Gallery的设计初衷、经典案例以及未来规划。
人工智能有三驾马车:数据、算法、算力。从这三点看,当前的AI应用开发进入到了什么阶段?
人工智能是人类在不断探索和发展一个领域,因为事先没有定义好有哪些阶段,所以很难回答我们当前处在哪个阶段。但是有一个很明显的感知,人工智能发展比10年之前有显著的进步,大量应用也越来越多。
这个契机是2012年以深度学习为代表的一类算法得到突破。 在此之前,大家更关注的是算法,大家都是在用数据降维和一些分类器的方案去做机器学习相关的AI开发,训练的数据体量也很小。
在2012年的契机点上,有了算力的加持,再通过算法和大量的数据迭代,我们看到AI开发模型的精度有了量级的提升。 随着这个量级提升之后,它能够在更多的行业和领域去应用AI技术来提高生产力。
但是,当前这个阶段人工智能还不能像人类那样,可以通过少量数据的学习获得逻辑推演能力。人工智能本质上还是通过大量的数据进行拟合和迭代,让它能够“记住”数据再去做一些推理,但它并不具备逻辑推演能力。不过,相比过去10年,AI最终的准确率已经有了提升,它的应用领域也进一步拓展。
往后展望,我们还会在算力上有进一步的突破,再加上整个算法和数据的加持,最终能训练出精度更高,甚至是像人类那样能够获得逻辑推演能力的AI。
一个完整的AI应用开发流程包括哪些环节,其中的挑战是什么?
一般是三个流程。
第一个环节是数据准备, 需要采集数据,对数据进行清洗,转换的工作。每一个环节都有自己的挑战。以数据为例,采集阶段会有政策法律上的限制,数据孤岛很难被打破。另外还要对数据进行有效的标注,这需要大量的人力才能完成,经济成本较高。
第二个阶段是建模, 基于准备好的数据,选择合适的算法,开发相关的模型。要考虑训练出来的模型的应用场景。比如AI应用是放在移动端上的,还是放在云端服务器上,这两者对推理的时延、准确率的要求都是不同的。因此AI开发的建模过程,要综合理解AI应用的场景,再去选择合适的算法工艺架构。它和只追求精度或者推理速度的学术领域不一样,我们需综合考虑,所以挑战比较高。
第三个阶段是基于模型来进行具体的AI应用的开发, 它围绕具体的应用场景,配合开发一些IT系统、软件、UI交互等。比如算法工程师负责建模开发,到了应用开发阶段可能是由应用工程师承担,它的角色是变换的。作为应用开发工程师,收到的是已经开发完的模型,但这个模型推理的时延和精度可能都达不到理想状态。这个时候就要通过压缩,蒸馏的技术进一步优化它。如果精度达不到,还得考虑最终这个应用是否能够通过一些巧妙设计来规避这些问题。
AI Gallery是不是为了解决上述环节中的一些问题?它的设计初衷是什么?
现在很多开发流程都是平台化的,AI开发的每个阶段都会产生一些数字资产:算法、模型、数据集,可能还有一些处理的函数、方法之类的。我们希望有一个地方能够把这些东西都沉淀和积累下来,以方便后续的开发者复用之前的一些成果, 这也是我们设计AI Gallery的初衷。
当越来越多的开发者分享各种场景下的AI资产,AI Gallery可以包含全场景各种精度的实验,这时其他开发者也能根据最终的开发场景直接拿来即用这些资产。
打个比方,AI开发的三个阶段可能是由不同角色介入的,如果应用工程师想介入到AI开发中,但又缺少相应的数据和算法工程师该怎么办?AI Gallery里就有训练好的模型,应用工程师拿来即用就可以了。从这个角度来看,它可以提高整体的开发效率。
开发者选择算法或者模型首要考量是什么?在这一点上,AI Gallery是如何应对的?
如果是选数据的话,一般是基于它的行业和领域场景,看有没有合适的数据,这个是跟领域和行业强相关的。当前我们提供了数据的分享的机制,有很多开发者已经共享了开源标准场景的数据集,来供大家在ModelArts上快速地验证自己的想法。
算法方面,开发者首要考量的是算法最后产生的模型是不是自己想要的,以及算法在训练时的输入数据格式,训练所需的开销、运行算法的环境等等。
模型方面,先要明确应用开发是部署在云上、边缘侧,还是端侧,这对于最后的应用场景很重要。其次是推理的时延,诸如医疗场景的数据会很大,它的推理就是异步的,但有些场景要求的是实时推理,可能对推理响应的时间要求很高。最后是精度,要评估应用场景对精度的敏感度。
综上,在AI开发的每一个阶段,都有很多需要考虑的指标、量纲。我们要做的就是把这些量纲和指标准化出来,能够让发布AI资产的开发者填写这些指标,方便使用的人去浏览、筛选和检索,快速找到他想要的东西。
AI Gallery有哪些经典案例可以给开发者介绍一下?
对于视觉领域的一些经典算法如YOLO、ResNet50,官方已经做了大量的适配,但这些算法其实没有沉淀到这个领域和行业里面的。因此我们基于内部的一些项目,也去做了一些AI的实践案例。比如说水表读数,安全帽检测等等。这些案例可能是使用同一个具体的算法,但是应用在不同的领域和行业场景。
后续会让我们的伙伴、高校的老师、开发者一起来分享他们的案例,这样,其他的开发者也能通过阅读这些案例快速的复现,加速整个端到端的开发。
在此也为大家推荐一些AI Gallery上的经典案例:
安全帽检测、水表读数识别、工地场景的钢筋盘点、使用PPO算法玩超级马里奥兄弟、与中国象棋AI对战。
像工业安全帽检测、水表读数,都是基于华为在行业内的一些项目沉淀出来的案例。这些案例生产的模型可以达到工业级的要求,它可以直接部署使用。唯一的区别是数据,当前我们只提供一个样例的数据,如果大家能够采集到更多更好的数据,训练出来的模型精度也会非常不错。
在AI Gallery发布AI资产后,开发者能享受到什么权益?
对于ISV伙伴来说,AI Gallery是和华为云云市场打通的,因此他们可以上架云市场,商业售卖资产模型,直接获得商业利益。
对于开发者来说,当前更多的是个人成就和荣誉的提升。后续我们也在积极的引入个人开发者计划,让普通的个人开发者去参与到整个项目之中,真正地进入到实战环节,既能获得实践的锻炼,也能够得到经济上的回报。
AI Gallery是如何助力普惠AI的?
一是资产和案例的积累。 当前已经有很多开发者在AI Gallery上贡献主流的开源数据集,其他人直接验证算法时可以拿来即用。在算法和模型方面,官方也已经把很多常用算法做了预集成。高校也在将一些经典论文的算法发布到AI Gallery分享。
二是分享机制。 开发者可以把算法和模型分享到AI Gallery,然后我们正在尝试采取一些激励的机制,让他们更有动力分享。
三是针对端到端的案例场景,我们上线了案例库。 当前案例虽然还不是很多,但后续华为官方以及ISV、伙伴、个人开发者会陆续将开发和交付的项目案例总结发布进来,让广大开发者通过学习这些案例来加速应用开发过程。
AI Gallery的未来规划是怎样的?
第一个方向是加速行业和企业的AI应用落地。 首先就是通过资产沉淀提高AI开发效率。其次是我们正在做项目的需求广场,以及开发者的认证机制,通过减少开发环节的链路,让更多的开发者和伙伴通过AI Gallery开发和交付AI项目,最终帮助行业和企业解决问题,加速应用的落地。
另一个方向主要是面向学习教育的场景。 现在我们基于大量的算力和数据去做迭代式的训练和开发,但很多高校的硬件可能跟不上,需要在云上进行教学实践。所以面向教育行业,面向个人开发者学习的场景,我们也打算做一些事情,包括教学课程,论文解读等等。
最终我们希望把这两条线打通,既能提供教学培训、学习的一站式解决方案,也能够让开发者把学习到的知识通过真实的交付场景实践出来。