开源中文大型语言模型（资源汇总

随时更新！汇总2023年开源的大型中文大规模语言模型，入选标准：

1. 对中文支持能力强
2. 模型规模 ≥ 1B
3. 公布模型权重、推理代码
4. 公布模型训练细节

Chinese-Vicuna

项目地址：https://github.com/Facico/Chinese-Vicuna

• 基座模型：LLaMA 7B
• 特点：提供了非常详细的训练指南！量化工具、C++推理、huggingface - Meta转化。
• 友好度：colab推理&微调代码点击运行，中文文档，社区回复很活跃。
• 效果：实测效果…有点一言难尽，没有面向多轮对话进行优化

Chinese-LLaMA-Alpaca

项目地址：https://github.com/ymcui/Chinese-LLaMA-Alpaca

• 基座模型：LLaMA 7B/13B
• 特点：扩充中文词典，CPU/GPU部署支持，huggingface推理接口
• 效果：issue中反馈来看，性能中规中矩，但相比于原生LLaMA中文能力已经大幅度提升了 https://github.com/ymcui/Chines

 

Luotuo-Chinese-LLM

项目地址：https://github.com/LC1332/Luotuo-Chinese-LLM

• 基座模型：Chat-GLM-6B
• 试玩地址：https://colab.research.google.com/github/LC1332/Luotuo-Chinese-LLM/blob/main/notebook/ChatLuotuo.ipynb#scrollTo=h8E_zffFBBS8
• 特点：上手简单，摊子铺的有点大…子项目很多，文档感觉一直在介绍作者
• 效果：不是很好

 

ChatGLM-6B

• 项目地址：https://github.com/THUDM/ChatGLM-6B
• 试玩地址：无
• 特点：huaggingface 集成，面向对话优化，有完善的部署和finetune方案
• 效果：等GPU空闲再测试，看官方案例还不错

Chinese-ChatLLaMA

项目地址：https://github.com/ydli-ai/Chinese-ChatLLaMA

• 基座模型：完整训练
• 试玩地址：无
• 特点：huggingface 集成，完整训练，有完善的部署和finetune方案
• 效果：

RWKV-LM

项目地址：https://github.com/BlinkDL/RWKV-LM

• 基座模型：RNN
• 特点：参考Transformer设计的RNN语言模型（类似convnext与ViT的关系）
• 效果：等GPU空闲再测试

随时更新欢迎关注收藏。

相关资源

数据

• Alpaca-CoT: An Instruction Fine-Tuning Platform with Instruction Data Collection and Unified Large Language Models Interface