博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

2023年7月18日

LLM + TensorRT 加速大模型

摘要： TensorRT的使用，尝试对LLM进行加速。本文为采坑记录 环境：ubuntu20.04, cuda 12.2, pytorch 2.0.1, tensorrt 8.6.1, torch_tensorrt 1.4.0, transformer 0.6.0 设备有限，仅打算尝试[opt-1.3b]( 阅读全文

posted @ 2023-07-18 20:25 Antel 阅读(2162) 评论(5) 推荐(1) 编辑