[转载]OpenBMB：让大模型飞入千家万户

预训练大模型的三大挑战 ：
▶ 训练难：训练数据量大，算力成本高。
▶ 微调难：微调参数量大，微调时间长。
▶ 应用难：推理速度慢，响应时间长，难以满足线上业务需求。

https://mp.weixin.qq.com/s/leUQz3VcyCkfY6Xx2G39mg

官网 https://www.openbmb.org/home

已经入驻模型：CPM1、CPM2、EVA

• CPM1是一个拥有26亿参数的生成式中文预训练语言模型。
  CPM1的模型架构与GPT类似，它能够被应用于广泛的自然语言处理任务，如对话、文章生成、完形填空和语言理解。

• CPM2是一个拥有110亿参数的通用中英文双语预训练语言模型，基于encoder-decoder架构。CPM2具有7种通用语言能力。
  2021年9月CPM2推出升级版本CPM2.1，CPM2.1新增了生成式的预训练任务并基于持续学习范式进行训练，生成能力进行了大幅度强化。

• EVA 是一个28亿参数的中文预训练对话模型，基于encoder-decoder架构。
  EVA在很多对话任务上表现优异，尤其是在多轮人机交互对话任务上。

git地址：https://github.com/OpenBMB