如何知道一个大模型在推理和训练时需要多少显存？

视频地址：

https://www.youtube.com/watch?v=Z9eV9mbB6uY

相关地址：

https://huggingface.co/spaces/hf-accelerate/model-memory-usage

详细内容：

https://techdiylife.github.io/blog/topic.html?category2=t05&blogid=0031

2 开发环境
Transformers 4.38.1
Accelerate 0.27.2
3 使用方法
这个工具 accelerate estimate-memory 是 huggingface 的 accelerate 开发库中提供的一个工具。使用这个工具，并不会真正的下载或者加载模型到内存中，它只是根据meta数据来对大模型所需要的内存进行模拟计算。所以，运行此工具并不需要您有GPU机器。