摘要: AI框架外部用户贡献代码 概述 飞桨是百度自主研发的一款开源的深度学习框架,是主流深度学习框架中首个完全国产化的产品,已经在农业、医疗、林业、科研、服务等领域成功应用。无论是已入职场的深度学习从业者、爱好者,亦或是在校学生,百度飞桨非常欢迎大家能够在开源生态Github中贡献代码,与实时分享项目的成 阅读全文
posted @ 2021-02-12 09:45 吴建明wujianming 阅读(210) 评论(0) 推荐(0) 编辑
摘要: AI框架精要:设计思想 本文主要介绍飞桨paddle平台的底层设计思想,可以帮助用户理解飞桨paddle框架的运作过程,以便于在实际业务需求中,更好的完成模型代码编写与调试及飞桨paddle框架的二次开发。 从编程范式上说,飞桨paddle兼容支持声明式编程和命令式编程,通俗地讲就是,静态图和动态图 阅读全文
posted @ 2021-02-12 09:28 吴建明wujianming 阅读(362) 评论(0) 推荐(0) 编辑
摘要: Paddle Lite端侧部署 端侧推理引擎的由来 随着深度学习的快速发展、特别是小型网络模型的不断成熟,原本应用到云端的深度学习推理,就可以放到终端上来做,比如手机、手表、摄像头、传感器、音响,也就是端智能。此外,可用于深度学习计算的硬件也有井喷之势,从Intel到Nvidia、ARM、Mali, 阅读全文
posted @ 2021-02-12 09:10 吴建明wujianming 阅读(2117) 评论(0) 推荐(0) 编辑
摘要: 参数服务器训练基本理论 参数服务器训练是分布式训练领域普遍采用的编程架构,主要解决以下两类问题: 模型参数过大:单机内存空间不足,需要采用分布式存储。 训练数据过多:单机训练太慢,需要加大训练节点,来提高并发训练速度。 如图所示,参数服务器主要包含Server和Worker两个部分,其中Server 阅读全文
posted @ 2021-02-12 08:32 吴建明wujianming 阅读(1134) 评论(0) 推荐(0) 编辑
摘要: 多机多卡训练基本原理 在工业实践中,许多较复杂的任务需要使用更强大的模型。强大模型加上海量的训练数据,经常导致模型训练耗时严重。比如在计算机视觉分类任务中,训练一个在ImageNet数据集上精度表现良好的模型,大概需要一周的时间,需要不断尝试各种优化的思路和方案。如果每次训练均要耗时1周,这会大大降 阅读全文
posted @ 2021-02-12 08:05 吴建明wujianming 阅读(1387) 评论(0) 推荐(0) 编辑
摘要: 分布式训练基本原理 近十年来,深度学习技术不断刷新视觉、自然语言、语音、搜索、推荐等领域各种任务的纪录。这其中的原因,用一个关键词描述就是“大规模”。大规模的数据使得模型有足够的知识可以记忆,大规模参数量的模型使得模型本身有能力记忆更多的数据,大规模高性能的算力(以GPU为典型代表)使得模型的训练速 阅读全文
posted @ 2021-02-12 07:44 吴建明wujianming 阅读(2109) 评论(0) 推荐(0) 编辑
摘要: 服务化部署框架Paddle Serving 概述 常见的深度学习模型开发流程需要经过问题定义、数据准备、特征提取、建模、训练过程,以及最后一个环——将训练出来的模型部署应用到实际业务中。如图1所示,当前用户在训练出一个可用的模型后,可以选择如下四种部署应用方式: 服务器端高性能部署:将模型部署在服务 阅读全文
posted @ 2021-02-12 07:10 吴建明wujianming 阅读(4777) 评论(0) 推荐(0) 编辑
摘要: Paddle Inference原生推理库 深度学习一般分为训练和推理两个部分,训练是神经网络“学习”的过程,主要关注如何搜索和求解模型参数,发现训练数据中的规律,生成模型。有了训练好的模型,就要在线上环境中应用模型,实现对未知数据做出推理,这个过程在AI领域叫做推理部署。用户可以选择如下四种部署应 阅读全文
posted @ 2021-02-12 06:36 吴建明wujianming 阅读(1656) 评论(0) 推荐(0) 编辑
摘要: 源码编译优化 深度学习的发展十分迅速,对科研或工程人员来说,可能会遇到一些需要自己开发op的场景,可以在python层面编写op,但如果对性能有严格要求的话,必须在C++层面开发op,对于这种情况,需要用户源码编译飞桨paddle,使之生效。 此外对于绝大多数使用C++将模型部署上线的工程人员来说, 阅读全文
posted @ 2021-02-12 05:54 吴建明wujianming 阅读(236) 评论(0) 推荐(0) 编辑
摘要: 推理部署概述 人工智能算法的重要能力,是可对未知的新数据做出预测,而所依据的则是在已知数据上训练出的模型。因为这个过程与人面对问题时依据经验思考推导后得出结论相类似,所以在人工智能领域又被称为推理(Inference)。 所以对于深度学习而言,训练和推理是两个不同的行为。将新数据输入训练得到的模型, 阅读全文
posted @ 2021-02-12 05:38 吴建明wujianming 阅读(464) 评论(0) 推荐(0) 编辑