MiniMind环境搭建&训练推理测试
引子
写了那么多篇大模型环境搭建推理部署的blog，如果没记错有几篇就是因为GPU资源hold不住，没有无法得到最终结果的（
一、模型介绍
MiniMind 是一个轻量级的大语言模型项目，让用户可以在个人设备上快速训练和运行GPT模型。该项目可以使用极小的数据和计算资源，在3小时内训练出一个26M的模型（ps：也许有读者会问，为啥我总是写推理，没有写训练，那显然是我没那个硬件条件呀，嗯，那这会儿这个条件有了。），使大模型技术使用更加简单。MiniMind 支持单机单卡和多卡训练，兼容多个流行的框架，并提供完整的代码和文档支持，帮助初学者和研究者快速上手并进行定制和扩展。MiniMind现在总共有5个模型，最小的是26M，已经有不错的对话能力了。
二、安装环境
模型下载
代码下载
git clone
环境安装
docker run --rm -it -v /datas/work/zzq/:/workspace --gpus=all --net host pytorch/pytorch:2.4.0-cuda12.4-cudnn9-devel bash
cd /workspace/MiniMind/minimind
修改requirements.txt包版本
pip install -r requirements.txt -i
pip install streamlit -i
三、推理测试
修改代码
streamlit run fast_inference.py
