2023年12月11日
使用PyTorch II的新特性加快LLM推理速度
摘要： Pytorch团队提出了一种纯粹通过PyTorch新特性在的自下而上的优化LLM方法，包括: Torch.compile: PyTorch模型的编译器 GPU量化:通过降低精度操作来加速模型 推测解码:使用一个小的“草稿”模型来加速llm来预测一个大的“目标”模型的输出 张量并行:通过在多个设备上运 阅读全文
posted @ 2023-12-11 09:45 deephub 阅读(22) 评论(0) 推荐(0) 编辑