mercurystraw

摘要： 矩阵奇异值分解 奇异值分解（Singular Value Decomposition，SVD） 1. 定义 奇异值分解（Singular Value Decomposition, SVD）是一种将任意实数或复数矩阵分解为三个特定矩阵乘积的数学方法。它在数据降维、信号处理和机器学习等领域有广泛应用。 阅读全文

摘要： Multimodal Task Vectors (MTV) --NIPS2024 OR 《Multimodal Task Vectors Enable Many-Shot Multimodal In-Context Learning》 背景 Challenge： 1.LMM应用多样本ICD学习会对上 阅读全文

摘要： 以统一的视角看待 Parameter-Efficient Transfer Learning --ICLR spotlight 2022 OR 《Towards a Unified View of Parameter-Efficient Transfer Learning》 Abstract & I 阅读全文

摘要： LoRA精读笔记 背景 随着我们预训练更大规模的模型，完全微调（即重新训练所有模型参数）变得越来越不可行。 ==>提出了提出了低秩适应（Low-Rank Adaptation，LoRA）方法，该方法冻结预训练模型的权重，并在Transformer架构的每一层中注入可训练的秩分解矩阵，从而大大减少了下 阅读全文

摘要： 由于笔记本没有GPU，做的又是ai方向，所以经常性的需要远程连接到实验室的服务器运行代码（Pycharm pro + SSH）。但是遗憾的是，服务器并没有魔法，访问不了很多科学网站。今天也是稍微折腾了一下，终于配好了可以。 主要原理就是将本地端口代理到远程端口，然后服务器设定访问代理访问远程端口，就 阅读全文

摘要： 监督学习/无监督学习/自监督学习 监督学习（Supervised Learning ） 定义是使用标记数据集来训练，以便训练后的算法可以对数据进行分类或准确预测结果。 在监督学习中，每个样本数据都被正确地标记过（i.e. 带有人工标签）。 模型在训练过程中，被一系列 “监督”误差的程序、回馈、校正模 阅读全文

摘要： LLM学习笔记 注意力机制 sequence to sequence （seq2seq）输入N个向量，输出任意可能数量的向量（由机器决定）；如果输出N个向量的任务就叫做Sequence Labeling 李沐课程讲义：https://zh-v2.d2l.ai/chapter_attention-me 阅读全文

摘要： 闲着没事，打算放点乱七八糟的东西在这，以记录吧 阅读全文