02 2025 档案
4.优化器 - 模型评估
摘要:优化器 - optimizer 优化器就是在深度学习反向传播过程中,指引损失函数(目标函数)的各个参数往正确的方向更新合适的大小,使得更新后的各个参数损失函数(目标函数)值不断逼近全局最小 优化器不计算梯度,他只是梯度的更新者,它决定了以什么样的形式更新参数 如果损失函数是一座山峰,优化器会通过梯度
3.正向传播与反向传播 - 学习率LR - Batch size - 激活函数 - 损失函数
摘要:正向传播 尽量降低损失函数 梯度 梯度是一个向量(矢量),函数在一点处沿着该点的梯度方向变化最快,变化率最大。换而言之,自变量沿着梯度方向变化,能够使应变量(函数值)变化最大。 如图:如果想要 w 下降最快就沿着梯度的负方向下降,就能降低损失函数 方向传播 更新各个参数的值(如图中 w 的值),重新
2.模型训练流程
摘要:基础名词解释 样本:一条数据 特征:被观测对象的可测量特征,例如西瓜的颜色、瓜蒂、纹路、敲击声等 特征向量:用一个d维向量表征一个样本的所有或部分特征; 向量(数组) - [1,2,3] 标签/真实值:样本特征对应的真是类型或者真是取值,即正确答案 数据集(dataset):多条样本组成的集合 训练
1.初识机器学习
摘要:LM LLM : 大语言模型 LMM : 多模态模型(处理图片视频等) 所谓模型,就是一个包含了大量未知参数的函数 所谓训练,就是通过大量的数据去迭代逼近这些未知参数的最优解 机器学习:是一门专门研究计算机怎盐模拟或实现人类的学习行为,以获取新的知识领域或技能,重新组织已有的知识结构使之不断改善自身