摘要：
一：LLM大语言模型 （一）阶段划分 LLM大语言模型训练一般有两个阶段 Step 1.预训练阶段 大模型首先在大量的无标签数据上进行训练，预训练的最终目的是让模型学习到语言的统计规律和一般知识。在这个过程中模型能够学习到词语的语义、句子的语法结构、以及文本的一般知识和上下文信息。 需要注意的是，预 阅读全文
摘要：
一：GPT-1 预测未来 在自然语言中，大量的未标记文本语料库非常丰富，但是有标签的数据训练的效果比较好，如果想要在没有标签的数据集上训练出好的模型比较难。因此作者提出了一个想法，在无标签的数据上训练一个预训练模型，然后在这些有标签的子任务上训练一个微调模型。（当时之前是CV领域的主流做法）与以前的 阅读全文
摘要：
一：注意力机制 （一）前提背景 1.人类的选择性视觉注意力 视觉注意力机制是人类视觉所特有的大脑信号处理机制。人类视觉通过快速扫描全局图像，获得需要重点关注的目标区域，也就是一般所说的注意力焦点，而后对这一区域投入更多注意力资源，以获取更多所需要关注目标的细节信息，而抑制其他无用信息，人类视觉注意力 阅读全文
摘要：
一：机器学习和深度学习对比 （一）传统机器学习 什么是传统机器学习？传统机器学习是指一系列能够从数据中学习规律，并根据这些规律进行预测和决策的算法。 它通常包括以下几种类型的算法： 线性回归和逻辑回归：用于解决回归和分类问题 可以认为：逻辑回归是在线性回归基础上加上sigmod方法，进行0/1分类 阅读全文