Llama2-Chinese项目:8-TRL资料整理
摘要:TRL(Transformer Reinforcement Learning)是一个使用强化学习来训练Transformer语言模型和Stable Diffusion模型的Python类库工具集,听上去很抽象,但如果说主要是做SFT(Supervised Fine-tuning)、RM(Reward
阅读全文
posted @
2023-10-05 01:26
扫地升
阅读(829)
推荐(0) 编辑
Llama2-Chinese项目:7-外延能力LangChain集成
摘要:本文介绍了Llama2模型集成LangChain框架的具体实现,这样可更方便地基于Llama2开发文档检索、问答机器人和智能体应用等。 1.调用Llama2类 针对LangChain[1]框架封装的Llama2 LLM类见examples/llama2_for_langchain.py,调用代码如下
阅读全文
posted @
2023-10-05 01:25
扫地升
阅读(203)
推荐(0) 编辑
Llama2-Chinese项目:6-模型评测
摘要:测试问题筛选自AtomBulb[1],共95个测试问题,包含:通用知识、语言理解、创作能力、逻辑推理、代码编程、工作技能、使用工具、人格特征八个大的类别。 1.测试中的Prompt 例如对于问题"列出5种可以改善睡眠质量的方法",如下所示: [INST] <<SYS>>You are a helpf
阅读全文
posted @
2023-10-05 01:25
扫地升
阅读(83)
推荐(0) 编辑
Llama2-Chinese项目:5-推理加速
摘要:随着大模型参数规模的不断增长,在有限的算力资源下,提升模型的推理速度逐渐变为一个重要的研究方向。常用的推理加速框架包含lmdeploy、FasterTransformer和vLLM等。 一.lmdeploy推理部署 lmdeploy由上海人工智能实验室开发,推理使用C++/CUDA,对外提供pyth
阅读全文
posted @
2023-10-05 01:24
扫地升
阅读(1535)
推荐(0) 编辑
Llama2-Chinese项目:4-量化模型
摘要:一.量化模型调用方式 下面是一个调用FlagAlpha/Llama2-Chinese-13b-Chat[1]的4bit压缩版本FlagAlpha/Llama2-Chinese-13b-Chat-4bit[2]的例子: from transformers import AutoTokenizerfro
阅读全文
posted @
2023-10-05 01:24
扫地升
阅读(1280)
推荐(0) 编辑
Llama2-Chinese项目:3.2-LoRA微调和模型量化
摘要:提供LoRA微调和全量参数微调代码,训练数据为data/train_sft.csv,验证数据为data/dev_sft.csv,数据格式为"<s>Human: "+问题+"\n</s><s>Assistant: "+答案。本文主要介绍Llama-2-7b模型LoRA微调以及4bit量化的实践过程。
阅读全文
posted @
2023-10-01 23:50
扫地升
阅读(2380)
推荐(0) 编辑
Llama2-Chinese项目:3.1-全量参数微调
摘要:提供LoRA微调和全量参数微调代码,训练数据为data/train_sft.csv,验证数据为data/dev_sft.csv,数据格式如下所示: "<s>Human: "+问题+"\n</s><s>Assistant: "+答案 举个例子,如下所示: <s>Human: 用一句话描述地球为什么是独
阅读全文
posted @
2023-10-01 00:06
扫地升
阅读(1280)
推荐(1) 编辑
Llama2-Chinese项目:2.3-预训练使用QA还是Text数据集?
摘要:Llama2-Chinese项目给出pretrain的data为QA数据格式,可能会有疑问pretrain不应该是Text数据格式吗?而在Chinese-LLaMA-Alpaca-2和open-llama2预训练使用的LoRA技术,给出pretrain的data为Text数据格式。所以推测应该pre
阅读全文
posted @
2023-09-24 20:43
扫地升
阅读(1204)
推荐(1) 编辑
Llama2-Chinese项目:2.2-大语言模型词表扩充
摘要:因为原生LLaMA对中文的支持很弱,一个中文汉子往往被切分成多个token,因此需要对其进行中文词表扩展。思路通常是在中文语料库上训练一个中文tokenizer模型,然后将中文tokenizer与LLaMA原生tokenizer进行合并,最终得到一个扩展后的tokenizer模型。国内Chinese
阅读全文
posted @
2023-09-16 22:32
扫地升
阅读(1996)
推荐(0) 编辑
Llama2-Chinese项目:2.1-Atom-7B预训练
摘要:虽然Llama2的预训练数据相对于第一代LLaMA扩大了一倍,但是中文预训练数据的比例依然非常少,仅占0.13%,这也导致了原始Llama2的中文能力较弱。为了能够提升模型的中文能力,可以采用微调和预训练两种路径,其中: 微调需要的算力资源少,能够快速实现一个中文Llama的雏形。但缺点也显而易见,
阅读全文
posted @
2023-09-16 22:31
扫地升
阅读(1859)
推荐(3) 编辑
Llama2-Chinese项目:1-项目介绍和模型推理
摘要:Atom-7B与Llama2间的关系:Atom-7B是基于Llama2进行中文预训练的开源大模型。为什么叫原子呢?因为原子生万物,Llama中文社区希望原子大模型未来可以成为构建AI世界的基础单位。目前社区发布了6个模型,如下所示: FlagAlpha/Atom-7BFlagAlpha/Llama2
阅读全文
posted @
2023-09-11 19:52
扫地升
阅读(1202)
推荐(1) 编辑