摘要：
TensorRT 7.2.1 开发概要（上） Abstract 这个TysRR7.2.1开发者指南演示了如何使用C++和Python API来实现最常用的深层学习层。它展示了如何使用深度学习框架构建现有模型，并使用该模型使用提供的解析器构建一个TensorRT引擎。开发指南还提供了常见用户任务的分步 阅读全文
摘要：
基于TensorRT的BERT实时自然语言理解（下） BERT Inference with TensorRT 请参阅Python脚本bert_inference.py还有详细的Jupyter notebook BERT_TRT.ipynb在sample文件夹中进行推理过程的逐步描述和演练。在本节中 阅读全文
摘要：
基于TensorRT的BERT实时自然语言理解（上） 大规模语言模型（LSLMs）如BERT、GPT-2和XL-Net为许多自然语言理解（NLU）任务带来了最先进的精准飞跃。自2018年10月发布以来，BERT1（来自Transformer的双向编码器表示）仍然是最流行的语言模型之一，并且在编写时仍 阅读全文
摘要：
NVIDIA TensorRT高性能深度学习推理 NVIDIA TensorRT™ 是用于高性能深度学习推理的 SDK。此 SDK 包含深度学习推理优化器和运行时环境，可为深度学习推理应用提供低延迟和高吞吐量。 在推理过程中，基于 TensorRT 的应用程序的执行速度可比 CPU 平台的速度快 4 阅读全文