Telsa T4配置下用peft微调t5模型

记录运行这个代码的过程：https://huggingface.co/docs/peft/task_guides/seq2seq-prefix-tuning

环境配置

虚拟环境

python -V
conda create -n peft-practice python=3.10.12
conda activate peft-practice

安装pytorch

conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia

检验：

import torch
print(torch.__version__)

转到清华源下载相关的库

pip install peft transformers datasets -i https://pypi.tuna.tsinghua.edu.cn/simple

检验：

import transformers
import peft

print(f"Transformers version: {transformers.__version__}")
print(f"PEFT version: {peft.__version__}")

Debug模式使用

用VScode调试，遇到了这个问题：VSCode单步调试不能进入外部文件，怎么办呢，在当前文件夹目录的.vscode文件夹的launch.json文件中写入以下：

{
    // 使用 IntelliSense 了解相关属性。 
    // 悬停以查看现有属性的描述。
    // 欲了解更多信息，请访问: https://go.microsoft.com/fwlink/?linkid=830387
    "version": "0.2.0",
    "configurations": [
        {
            "name": "Python: 当前文件",
            "type": "python",
            "request": "launch",
            "program": "${file}",
            "console": "integratedTerminal",
            "justMyCode": false,
            "purpose": ["debug-in-terminal"]
        }
    ]
}

VSCode调试方法见：https://www.youtube.com/watch?v=el39D7rz7K0
(In this episode, we learn how to set up debugging for PyTorch source code in Visual Studio Code. )

Continue(F5): 继续程序执行，直到执行完毕或到达下一个断点；
Step Over(F10)：顺着执行代码，但不进入函数；
Step Into(F11)：进入函数，包括源码函数；
Step Over(Shift+F11)：跳出当前函数体。

VScode其他技巧：
jump to definition: F12
Find All References: Shift+F12

数据集下载失败

huggingface下载失败后，我用其他的网络从huggingface下载数据集，然后用dataset.save_to_disk('dataset/financial_phrasebank')保存到文件夹。再把这个文件夹放到当前工作目录。然后用dataset = datasets.load_from_disk("dataset/financial_phrasebank")从本地load进来。

模型下载中间也失败了一次，但第二次就下成功了。最后微调成功了。