随笔分类 -  TensorRT技术分享

摘要:使用 TensorRT C++ API 调用GPU加速部署 YOLOv10 实现 500FPS 推理速度——快到飞起!!NVIDIA ® TensorRT ™ 是一款用于高性能深度学习推理的 SDK,包含深度学习推理优化器和运行时,可为推理应用程序提供低延迟和高吞吐量。YOLOv10是清华大学研究人员近期提出的一种实时目标检测方法,通过消除NMS、优化模型架构和引入创新模块等策略,在保持高精度的同时显著降低了计算开销,为实时目标检测领域带来了新的突破。 在本文中,我们将演示如何使用NVIDIA TensorRT C++ API 部署YOLOv10目标检测模型,实现模型推理加速。 阅读全文
posted @ 2024-06-20 16:06 椒颜皮皮虾 阅读(1491) 评论(0) 推荐(2) 编辑
摘要:【YoloDeployCsharp】基于.NET Framework的YOLO深度学习模型部署测试平台基于.NET Framework 4.8 开发的深度学习模型部署测试平台,提供了YOLO框架的主流系列模型,包括YOLOv8~v9,以及其系列下的Det、Seg、Pose、Obb、Cls等应用场景,同时支持图像与视频检测。模型部署引擎使用的是OpenVINO™、TensorRT、ONNX runtime以及OpenCV DNN,支持CPU、IGPU以及GPU多种设备推理。 阅读全文
posted @ 2024-05-04 17:31 椒颜皮皮虾 阅读(3598) 评论(7) 推荐(16) 编辑
摘要:TensorRT C# API 项目更新 (1):支持动态Bath输入模型推理开发了TensorRT C# API 2.0版本,该版本在开发时充分考虑了上一版本应用时出现的问题,并进行了改进。为了更加方便开发者使用,在本次更新中增加了对动态输入模型的支持,将在本技术文中详细介绍本次更新内容以及应用案例。 阅读全文
posted @ 2024-04-11 08:00 椒颜皮皮虾 阅读(552) 评论(1) 推荐(2) 编辑
摘要:TensorRT C# API 项目介绍:基于C#与TensorRT部署深度学习模型开发了TensorRT C# API 2.0版本,该版本在开发时充分考虑了上一版本应用时出现的问题,并进行了改进。同时在本版本中,我们对接口进行了优化,使用起来更加简单,并同时提供了相关的应用案例,方便开发者进行使用。 阅读全文
posted @ 2024-04-01 13:20 椒颜皮皮虾 阅读(2786) 评论(0) 推荐(14) 编辑

点击右上角即可分享
微信分享提示