摘要：本文记录HugginngFace的Trainer各种常见用法。 SFTTrainer的一个最简单例子 HuggingFace的各种Trainer能大幅简化我们预训练和微调的工作量。能简化到什么程度？就拿我们个人用户最常会遇到的用监督学习微调语言模型任务为例，只需要定义一个SFTrainer，给定我们 阅读全文

摘要：本文记录一下，使用自顶向下的编程法一步步编写微调小语言模型的代码。这里小模型指的是可以在本地电脑运行的预训练语言模型（1B左右），相对而言的是需要在大集群运行的模型。 微调一个语言模型，本质上是把一个已经预训练过的语言模型在一个新的数据集上继续训练。那么一次微调模型的任务，可以分为下面三个大个步骤（ 阅读全文

摘要：本文记录一下模仿nanoGPT项目，使用自顶向下的编程法一步步手写GPT的过程。阅读本文需要了解Transformer，GPT，和PyTorch的基础知识。 下面是会用到的所有python库 import math # will use math.sqrt from dataclasses impo 阅读全文