随笔分类 -  模型部署（tensorRT）

摘要：​ 本文来自公众号“AI大道理”。 这里既有AI，又有生活大道理，无数渺小的思考填满了一生。 本文使用TensorRT MNIST的例子介绍TensorRT的基本流程。 MNIST的例子将训练好的神经网络模型转换为TensorRT的形式，并用TensorRT Optimizer进行优化。 ​ 1、全 阅读全文

摘要：​ 本文来自公众号“AI大道理”。 ​ 深度学习模型在训练阶段，为了保证前后向传播，每次梯度的更新是很微小的，这时候需要相对较高的进度，一般来说需要float型，如FP32。 模型在推断（Inference）的时候只有前向计算，无需回传，因此可以使用低精度技术，如FP16、INT8、甚至是Bit（0 阅读全文