2023年10月22日
使用TensorRT-LLM进行高性能推理
摘要： LLM的火爆之后，英伟达(NVIDIA)也发布了其相关的推理加速引擎TensorRT-LLM。TensorRT是nvidia家的一款高性能深度学习推理SDK。此SDK包含深度学习推理优化器和运行环境,可为深度学习推理应用提供低延迟和高吞吐量。而TensorRT-LLM是在TensorRT基础上针对大 阅读全文
posted @ 2023-10-22 09:22 deephub 阅读(128) 评论(0) 推荐(0) 编辑