摘要: 在C++中加载TorchScript模型 本教程已更新为可与PyTorch 1.2一起使用 顾名思义,PyTorch的主要接口是Python编程语言。尽管Python是合适于许多需要动态性和易于迭代的场景,并且是首选的语言,但同样的,在 许多情况下,Python的这些属性恰恰是不利的。后者通常适用的 阅读全文
posted @ 2021-02-13 08:29 吴建明wujianming 阅读(649) 评论(0) 推荐(1) 编辑
摘要: 通过带Flask的REST API在Python中部署PyTorch 在本文中,将使用Flask来部署PyTorch模型,并用讲解用于模型推断的 REST API。特别是,将部署一个预训练的DenseNet 121模 型来检测图像。 备注: 可在GitHub上获取本文用到的完整代码 这是在生产中部署 阅读全文
posted @ 2021-02-13 08:22 吴建明wujianming 阅读(344) 评论(0) 推荐(1) 编辑
摘要: 使用ONNX将模型转移至Caffe2和移动端 本文介绍如何使用 ONNX 将 PyTorch 中定义的模型转换为 ONNX 格式,然后将其加载到 Caffe2 中。一旦进入 Caffe2, 就可以运行模型来仔细检查它是否正确导出,然后展示了如何使用 Caffe2 功能(如移动导出器)在移动设备上执行 阅读全文
posted @ 2021-02-13 08:17 吴建明wujianming 阅读(378) 评论(0) 推荐(0) 编辑
摘要: AI框架类FAQ 数据处理 问题:如何在训练过程中高效读取数量很大的数据集? 答复:当训练时使用的数据集数据量较大或者预处理逻辑复杂时,如果串行地进行数据读取,数据读取往往会成为训练效率的瓶颈。这种情况下通常需要利用多线程或者多进程的方法异步地进行数据载入,从而提高数据读取和整体训练效率。 padd 阅读全文
posted @ 2021-02-13 07:47 吴建明wujianming 阅读(243) 评论(0) 推荐(0) 编辑
摘要: Paddle Release Note 重要更新 飞桨paddle框架2.0.0版本有如下重要更新: 编程范式:默认开启动态图模式进行模型开发和训练,通过动转静的方式进行模型部署和训练加速。如果需要使用静态图编程范式,可以通过paddle.enable_static()来切换到静态图模式。 API体 阅读全文
posted @ 2021-02-13 07:31 吴建明wujianming 阅读(499) 评论(0) 推荐(0) 编辑
摘要: 如何在框架外部自定义C++ OP 通常,如果PaddlePaddle的Operator(OP)库中没有所需要的操作,建议先尝试使用已有的OP组合,如果无法组合出您需要的操作,可以尝试使用paddle.static.py_func,也可以按照这篇教程自定义C++ OP。当然,如果用若干OP组合出来的O 阅读全文
posted @ 2021-02-13 07:06 吴建明wujianming 阅读(240) 评论(0) 推荐(0) 编辑
摘要: 如何写新的Python OP Paddle 通过 py_func 接口支持在Python端自定义OP。 py_func的设计原理在于Paddle中的Tensor可以与numpy数组可以方便的互相转换,从而可以使用Python中的numpy API来自定义一个Python OP。 py_func接口概 阅读全文
posted @ 2021-02-13 07:00 吴建明wujianming 阅读(369) 评论(0) 推荐(0) 编辑
摘要: C++ OP相关注意事项 Paddle中Op的构建逻辑 1.Paddle中Op的构建逻辑 Paddle中所有的Op都继承自OperatorBase,且所有的Op都是无状态的,每个Op包含的成员变量只有四个:type、inputs、outputs、attribute。 Op的核心方法是Run,Run方 阅读全文
posted @ 2021-02-13 06:54 吴建明wujianming 阅读(268) 评论(0) 推荐(0) 编辑
摘要: 如何写新的C++ OP 概念简介 简单介绍需要用到基类,详细介绍请参考设计文档。 framework::OperatorBase: Operator(简写,Op)基类。 framework::OpKernel: Op计算函数的基类,称作Kernel。 framework::OperatorWithK 阅读全文
posted @ 2021-02-13 06:37 吴建明wujianming 阅读(650) 评论(0) 推荐(0) 编辑
摘要: PaddleSlim是一个模型压缩工具库,包含模型剪裁、定点量化、知识蒸馏、超参搜索和模型结构搜索等一系列模型压缩策略。 对于业务用户,PaddleSlim提供完整的模型压缩解决方案,可用于图像分类、检测、分割等各种类型的视觉场景。 同时也在持续探索NLP领域模型的压缩方案。另外,PaddleSli 阅读全文
posted @ 2021-02-13 06:23 吴建明wujianming 阅读(311) 评论(0) 推荐(0) 编辑