随笔分类 - 人工智能
摘要：说明： TensorRT-LLM是NVIDIA开发的高性能推理 TensorRT-LLM 是 NVIDIA 推出的一个专门用于编译和优化大语言模型推理的综合程序库。 可在 NVIDIA GPU 上加速和优化最新的大语言模型（LLM）的推理性能。 官网地址为：https://github.com/TH
阅读全文
摘要：一、创建用户 用户管理-创建用户： 1. 在ai-station的web页面上登录管理员的账号:admin，密码：123456Aaa？ 2. 点击系统管理 -> 用户管理 ->创建 -> 再次输入密码：123456Aaa？ 3. 创建普通用户：账户和姓名必须一致（自定义设置）->选取iei 用户组
阅读全文
摘要：如何在AIStation训练平台中制作DeepSpeed镜像 需要注意：以下操作都是在普通账户操作的，管理员无法操作 一、导入NGC镜像 1.1到NGC官网连接https://catalog.ngc.nvidia.com/orgs/nvidia/containers/pytorch/tags，根据需
阅读全文
