随笔分类 - 🤗LLM学习
MTV
摘要：Multimodal Task Vectors (MTV) --NIPS2024 OR 《Multimodal Task Vectors Enable Many-Shot Multimodal In-Context Learning》 背景 Challenge： 1.LMM应用多样本ICD学习会对上
论文笔记——统一视角看待参数高效迁移学习
摘要：以统一的视角看待 Parameter-Efficient Transfer Learning --ICLR spotlight 2022 OR 《Towards a Unified View of Parameter-Efficient Transfer Learning》 Abstract & I
LoRA阅读笔记
摘要：LoRA精读笔记 背景 随着我们预训练更大规模的模型，完全微调（即重新训练所有模型参数）变得越来越不可行。 ==>提出了提出了低秩适应（Low-Rank Adaptation，LoRA）方法，该方法冻结预训练模型的权重，并在Transformer架构的每一层中注入可训练的秩分解矩阵，从而大大减少了下
监督学习无监督学习自监督学习
摘要：监督学习/无监督学习/自监督学习 监督学习（Supervised Learning ） 定义是使用标记数据集来训练，以便训练后的算法可以对数据进行分类或准确预测结果。 在监督学习中，每个样本数据都被正确地标记过（i.e. 带有人工标签）。 模型在训练过程中，被一系列 “监督”误差的程序、回馈、校正模
Transformer 学习与解读
摘要：LLM学习笔记 注意力机制 sequence to sequence （seq2seq）输入N个向量，输出任意可能数量的向量（由机器决定）；如果输出N个向量的任务就叫做Sequence Labeling 李沐课程讲义：https://zh-v2.d2l.ai/chapter_attention-me
