Langchain-Chatchat项目：4.1-P-Tuning v2实现过程
常见参数高效微调方法(Parameter-Efficient Fine-Tuning，PEFT)有哪些呢？主要是Prompt系列和LoRA系列。本文主要介绍P-Tuning v2微调方法。如下所示：
Prompt系列比如，Prefix Tuning(2021.01-Stanford)、Prompt Tuning(2021.09-Google)、P-Tuning(2021.03-Tsinghua)、P-Tuning v2(2022.03-Tsinghua)； LoRA系列比如，LoRA(2021.11-Microsoft)、AdaLoRA(2023.03-Microsoft)、QLoRA(2023.05-Washington)。 还有不知道如何分类的比如，BitFit、Adapter Tuning及其变体、MAM Adapter、UniPELT等。 
一.P-Tuning v2工作原理
1.Hard/Soft Prompt-Tuning如何设计
提示工程发展经过了从人工或半自动离散空间的hard prompt设计，到采用连续可微空间soft prompt设计的过程，这样的好处是可通过端到端优化学习不同任务对应的prompt参数。
2.P-Tuning工作原理和不足
主要是将continuous prompt应用于预训练模型的输入层，预训练模型后面的每一层都没有合并continuous prompt。
3.P-Tuning v2如何解决P-Tuning不足
P-Tuning v2把continuous prompt应用于预训练模型的每一层，而不仅仅是输入层。
二.P-Tuning v2实现过程
1.整体项目结构
源码参考文献[4]，源码结构如下所示：
参数解释如下所示：
（1）--model_name_or_path L:/20230713_HuggingFaceModel/20231004_BERT/bert-base-chinese：BERT模型路径
（2）--task_name qa：任务名字
（3）--dataset_name squad：数据集名字
（4）--do_train：训练过程
（5）--do_eval：验证过程
（6）--max_seq_length 128：最大序列长度
（7）--per_device_train_batch_size 2：每个设备训练批次大小
（8）--learning_rate 5e-3：学习率
（9）--num_train_epochs 10：训练epoch数量
（10）--pre_seq_len 128：前缀序列长度
（11）--output_dir checkpoints/SQuAD-bert：检查点输出目录
（12）--overwrite_output_dir：覆盖输出目录
（13）--hidden_dropout_prob 0.1：隐藏dropout概率
（14）--seed 11：种子
（15）--save_strategy no：保存策略
（16）--evaluation_strategy epoch：评估策略
（17）--prefix：P-Tuning v2方法
执行代码如下所示：
python3 run.py --model_name_or_path L:/20230713_HuggingFaceModel/20231004_BERT/bert-base-chinese --task_name qa --dataset_name squad --do_train --do_eval --max_seq_length 128 --per_device_train_batch_size 2 --learning_rate 5e-3 --num_train_epochs 10 --pre_seq_len 128 --output_dir checkpoints/SQuAD-bert --overwrite_output_dir --hidden_dropout_prob 0.1 --seed 11 --save_strategy no --evaluation_strategy epoch --prefix
2.代码执行流程
（1）P-tuning-v2/run.py
根据task_name=="qa"选择tasks.qa.get_trainer 根据get_trainer得到trainer，然后训练、评估和预测
（2）P-tuning-v2/tasks/qa/get_trainer.py
得到config、tokenizer、model、squad数据集、QuestionAnsweringTrainer对象trainer 重点关注model是如何得到的
# fix_bert表示不更新bert参数，model数据类型为BertPrefixForQuestionAnswering
model = get_model(model_args, TaskType.QUESTION_ANSWERING, config, fix_bert=True)
重点关注QuestionAnsweringTrainer具体实现
trainer = QuestionAnsweringTrainer( # 读取trainer
model=model, # 模型
args=training_args, # 训练参数
train_dataset=dataset.train_dataset if training_args.do_train else None, # 训练集
eval_dataset=dataset.eval_dataset if training_args.do_eval else None, # 验证集
eval_examples=dataset.eval_examples if training_args.do_eval else None, # 验证集
tokenizer=tokenizer, # tokenizer
data_collator=dataset.data_collator, # 用于将数据转换为batch
post_process_function=dataset.post_processing_function, # 用于将预测结果转换为最终结果
compute_metrics=dataset.compute_metrics, # 用于计算评价指标
)
（3）P-tuning-v2/model/utils.py
选择P-tuning-v2微调方法，返回BertPrefixForQuestionAnswering模型，如下所示：
def get_model(model_args, task_type: TaskType, config: AutoConfig, fix_bert: bool = False):
if model_args.prefix: # 训练方式1：P-Tuning V2（prefix=True）
config.hidden_dropout_prob = model_args.hidden_dropout_prob # 0.1
config.pre_seq_len = model_args.pre_seq_len # 128
config.prefix_projection = model_args.prefix_projection # False
config.prefix_hidden_size = model_args.prefix_hidden_size # 512
# task_type是TaskType.QUESTION_ANSWERING，config.model_type是bert，model_class是BertPrefixForQuestionAnswering
model_class = PREFIX_MODELS[config.model_type][task_type]
# model_args.model_name_or_path是bert-base-chinese，config是BertConfig，revision是main
model = model_class.from_pretrained(model_args.model_name_or_path, config=config, revision=model_args.model_revision,)
（4）P-tuning-v2/model/question_answering.py（重点）
主要是BertPrefixForQuestionAnswering(BertPreTrainedModel)模型结构，包括构造函数、前向传播和获取前缀信息。
（5）P-tuning-v2/model/prefix_encoder.py（重点）
在BertPrefixForQuestionAnswering(BertPreTrainedModel)构造函数中涉及到前缀编码器PrefixEncoder(config)。
（6）P-tuning-v2/training/trainer_qa.py
继承关系为QuestionAnsweringTrainer(ExponentialTrainer)->ExponentialTrainer(BaseTrainer)->BaseTrainer(Trainer)->Trainer，最核心训练方法如下所示：
3.P-tuning-v2/model/prefix_encoder.py实现
该类作用主要是根据前缀prefix信息对其进行编码，假如不考虑batch-size，那么编码后的shape为(prefix-length, 2*layers*hidden)。假如prefix-length=128，layers=12，hidden=768，那么编码后的shape为(128,2*12*768)。
class PrefixEncoder(torch.nn.Module):
def __init__(self, config):
super().__init__()
self.prefix_projection = config.prefix_projection # 是否使用MLP对prefix进行投影
if self.prefix_projection: # 使用两层MLP对prefix进行投影
self.embedding = torch.nn.Embedding(config.pre_seq_len, config.hidden_size)
self.trans = torch.nn.Sequential(
torch.nn.Linear(config.hidden_size, config.prefix_hidden_size),
torch.nn.Tanh(),
torch.nn.Linear(config.prefix_hidden_size, config.num_hidden_layers * 2 * config.hidden_size)
)
else: # 直接使用Embedding进行编码
self.embedding = torch.nn.Embedding(config.pre_seq_len, config.num_hidden_layers * 2 * config.hidden_size)
def forward(self, prefix: torch.Tensor):
if self.prefix_projection: # 使用MLP对prefix进行投影
prefix_tokens = self.embedding(prefix)
past_key_values = self.trans(prefix_tokens)
else: # 不使用MLP对prefix进行投影
past_key_values = self.embedding(prefix)
return past_key_values
这里面可能会有疑问，为啥还要乘以2呢？因为past_key_values前半部分要和key_layer拼接，后半部分要和value_layer拼接，如下所示：
key_layer = torch.cat([past_key_value[0], key_layer], dim=2)
value_layer = torch.cat([past_key_value[1], value_layer], dim=2)
说明：代码路径为transformers/models/bert/modeling_bert.py->class BertSelfAttention(nn.Module)的forward()函数中。
4.P-tuning-v2/model/question_answering.py
简单理解，BertPrefixForQuestionAnswering就是在BERT上添加了PrefixEncoder，get_prompt功能主要是生成past_key_values，即前缀信息的编码表示，用于与主要文本序列一起输入BERT模型，以帮助模型更好地理解问题和提供答案。因为选择的SQuAD属于抽取式QA数据集，即根据question从context中找到answer的开始和结束位置即可。
class BertPrefixForQuestionAnswering(BertPreTrainedModel):
def __init__(self, config):
self.bert = BertModel(config, add_pooling_layer=False) # bert模型
self.qa_outputs = torch.nn.Linear(config.hidden_size, config.num_labels) # 线性层
self.prefix_encoder = PrefixEncoder(config) # 前缀编码器
def get_prompt(self, batch_size): # 根据前缀token生成前缀的编码，即key和value值
past_key_values = self.prefix_encoder(prefix_tokens)
past_key_values = past_key_values.view(
bsz, # batch_size
seqlen, # pre_seq_len
self.n_layer * 2, # n_layer表示BERT模型的层数
self.n_head, # n_head表示注意力头的数量
self.n_embd # n_embd表示每个头的维度
)
return past_key_values
def forward(self, ..., return_dict=None):
past_key_values = self.get_prompt(batch_size=batch_size) # 获取前缀信息
attention_mask = torch.cat((prefix_attention_mask, attention_mask), dim=1)
outputs = self.bert(
......
past_key_values=past_key_values,
)
return QuestionAnsweringModelOutput( # 返回模型输出，包括loss，开始位置的logits，结束位置的logits，hidden states和attentions
loss=total_loss,
start_logits=start_logits,
end_logits=end_logits,
hidden_states=outputs.hidden_states,
attentions=outputs.attentions,
)
重点是outputs = self.bert(past_key_values=past_key_values)，将past_key_values传入BERT模型中，起作用的主要是transformers/models/bert/modeling_bert.py->class BertSelfAttention(nn.Module)的forward()函数中。接下来看下past_key_values数据结构，如下所示：
5.BertSelfAttention实现
BERT网络结构参考附件1，past_key_values主要和BertSelfAttention部分中的key和value进行拼接，如下所示：
(self): BertSelfAttention(
(query): Linear(in_features=768, out_features=768, bias=True)
(key): Linear(in_features=768, out_features=768, bias=True)
(value): Linear(in_features=768, out_features=768, bias=True)
(dropout): Dropout(p=0.1, inplace=False)
)
具体past_key_values和key、value拼接实现参考代码，如下所示：
经过BertSelfAttention部分后，输出outputs的shape和原始输入的shape是一样的，即都不包含前缀信息。
附件1：BERT网络结构
打印出来BERT模型结构，如下所示：
BertModel(
(embeddings): BertEmbeddings(
(word_embeddings): Embedding(21128, 768, padding_idx=0)
(position_embeddings): Embedding(512, 768)
(token_type_embeddings): Embedding(2, 768)
(LayerNorm): LayerNorm((768,), eps=1e-12, elementwise_affine=True) #embeddings层做了LayerNorm
(dropout): Dropout(p=0.1, inplace=False) #embeddings层做了Dropout
)
(encoder): BertEncoder(
(layer): ModuleList(
(0-11): 12 x BertLayer( #BertLayer包括BertAttention、BertIntermediate和BertOutput
(attention): BertAttention( #BertAttention包括BertSelfAttention和BertSelfOutput
(self): BertSelfAttention(
(query): Linear(in_features=768, out_features=768, bias=True)
(key): Linear(in_features=768, out_features=768, bias=True)
(value): Linear(in_features=768, out_features=768, bias=True)
(dropout): Dropout(p=0.1, inplace=False)
)
(output): BertSelfOutput(
(dense): Linear(in_features=768, out_features=768, bias=True)
(LayerNorm): LayerNorm((768,), eps=1e-12, elementwise_affine=True)
(dropout): Dropout(p=0.1, inplace=False)
)
)
(intermediate): BertIntermediate(
(dense): Linear(in_features=768, out_features=3072, bias=True)
(intermediate_act_fn): GELUActivation()
)
(output): BertOutput(
(dense): Linear(in_features=3072, out_features=768, bias=True)
(LayerNorm): LayerNorm((768,), eps=1e-12, elementwise_affine=True)
(dropout): Dropout(p=0.1, inplace=False)
)
)
)
)
(pooler): BertPooler(
(dense): Linear(in_features=768, out_features=768, bias=True)
(activation): Tanh()
)
)
BERT模型相关类结构在文件D:\Python310\Lib\site-packages\transformers\models\bert\modeling_bert.py中，如下所示：
附件2：SQuAD数据集
SQuAD是斯坦福大学推出的机器阅读理解问答数据集，其中每个问题的答案来自于对应阅读段落的一段文本，即(问题，原文，答案)。一共有107,785问题，以及配套的536篇文章。除了SQuAD 1.1之外，还推出了难度更大的新版本SQuAD 2.0(《Know What You Don't Know: Unanswerable Questions for SQuAD》_ACL2018)。
（1）训练集数据
（2）验证集数据
（3）加载SQuAD数据集
"""
执行脚本：python3 dataset_test.py --model_name_or_path L:/20230713_HuggingFaceModel/20231004_BERT/bert-base-chinese --task_name qa --dataset_name squad --do_train --do_eval --max_seq_length 128 --per_device_train_batch_size 2 --learning_rate 5e-3 --num_train_epochs 10 --pre_seq_len 128 --output_dir checkpoints/SQuAD-bert --overwrite_output_dir --hidden_dropout_prob 0.1 --seed 11 --save_strategy no --evaluation_strategy epoch --prefix
"""
from transformers import AutoTokenizer, HfArgumentParser, TrainingArguments
from arguments import get_args, ModelArguments, DataTrainingArguments, QuestionAnwseringArguments
from tasks.qa.dataset import SQuAD
if __name__ == '__main__':
args = get_args() # 从命令行获取参数
model_args, data_args, training_args, qa_args = args # model_args是模型相关参数，data_args是数据相关的参数，training_args是训练相关的参数
tokenizer = AutoTokenizer.from_pretrained( # 读取tokenizer
model_args.model_name_or_path, # 模型名称
revision=model_args.model_revision, # 模型版本
use_fast=True, # 是否使用fast tokenizer
)
dataset = SQuAD(tokenizer, data_args, training_args, qa_args)
print(dataset)
打个断点看下dataset数据结构如下所示：
input_ids：经过tokenizer分词后的subword对应的下标列表 attention_mask：在self-attention过程中，这一块mask用于标记subword所处句子和padding的区别，将padding部分填充为0 token_type_ids：标记subword当前所处句子（第一句/第二句/ padding） position_ids：标记当前词所在句子的位置下标 head_mask：用于将某些层的某些注意力计算无效化 inputs_embeds：如果提供了，那就不需要input_ids，跨过embedding lookup过程直接作为Embedding进入Encoder计算 encoder_hidden_states：这一部分在BertModel配置为decoder时起作用，将执行cross-attention而不是self-attention encoder_attention_mask：同上，在cross-attention中用于标记encoder端输入的padding past_key_values：在P-Tuning V2中会用到，主要是把前缀编码和预训练模型每层的key、value进行拼接。 use_cache：将保存上一个参数并传回，加速decoding output_attentions：是否返回中间每层的attention输出 output_hidden_states：是否返回中间每层的输出 return_dict：是否按键值对的形式返回输出，默认为真。
觉得P-Tuning v2里面还有很多知识点没有讲解清楚，只能后续逐个讲解。仅仅一个P-Tuning v2仓库代码涉及的知识点非常之多，首要就是把Transformer和BERT标准网络结构非常熟悉，还有对各种任务及其数据集要熟悉，对BERT变体网络结构要熟悉，对于PyTorch和Transformer库的深度学习模型训练、验证和测试流程要熟悉，对于Prompt系列微调方法要熟悉。总之，对于各种魔改Transformer和BERT要了如指掌。
参考文献：
[1]P-Tuning论文地址：https://arxiv.org/pdf/2103.10385.pdf
[2]P-Tuning代码地址：https://github.com/THUDM/P-tuning
[3]P-Tuning v2论文地址：https://arxiv.org/pdf/2110.07602.pdf
[4]P-Tuning v2代码地址：https://github.com/THUDM/P-tuning-v2
[5]BertLayer及Self-Attention详解：https://zhuanlan.zhihu.com/p/552062991
[6]https://rajpurkar.github.io/SQuAD-explorer/
[7]https://huggingface.co/datasets/squad
