谷歌Gemma介绍、微调、量化和推理

谷歌的最新的Gemma模型是第一个使用与Gemini模型相同的研究和技术构建的开源LLM。这个系列的模型目前有两种尺寸，2B和7B，并且提供了聊天的基本版和指令版。

用一句话来总结Gemma就是：学习了Llama 2和Mistral 7B的优点，使用了更多的Token和单词进行了训练了一个更好的7B(8.5B)模型。所以这篇文章我们将介绍Gemma模型，然后展示如何使用Gemma模型，包括使用QLoRA、推理和量化微调。

 

https://avoid.overfit.cn/post/6921505d228e4daa81e460e1c231eb49