次花椒的喵酱

摘要： 🧠 一、SimAM 的基本思想 SimAM（Simple Attention Module） 是一种无参数的注意力机制（即不增加可学习参数），发表于 📝 SimAM: A Simple, Parameter-Free Attention Module for Convolutional Neur 阅读全文

摘要： 简单来说，valid（或 val）文件夹的存在是为了在模型训练过程中，定期、独立地评估模型的性能，以便进行模型调优、防止过拟合和选择最佳模型。它是机器学习工作流中至关重要的一环。 一般的数据集结构： 1. Train（训练集） 目的：这是模型“学习”所用的主要数据。模型通过反复查看这些图片和对应的标 阅读全文

摘要： Gradient Descent 梯度下降 一、核心思想：一个最经典的比喻 想象一下，你是一个蒙着眼睛的登山者，被困在一片漆黑的山林中。你的目标是走到山谷的最低点（寻找最低点）。 你会怎么做？ 你会用脚感受一下周围的地面，找出哪个方向是“下坡”最陡的。 然后朝着那个最陡的下坡方向迈出一步。 到达新位 阅读全文

摘要： 流水不争先，争的是滔滔不绝—— 每日渐进，终抵远方 1.Manba是什么？Manba牢大Man！——Transformer 的“阿喀琉斯之踵” 要理解Mamba，首先必须明白当今的王者——Transformer——有什么核心痛点。Transformer的成功源于其Self-Attention（自注意 阅读全文

摘要： 无论怎么讲我都觉得虚伪 陪伴你那么久你说是受罪 从前到现在当我是谁 你这花心蝴蝶 昨夜陪你醉伤到我心碎 你竟说我和你不配 完全忘记往日为何 能与我彻夜缠绵 和你吻吻吻吻吻 你吻得太逼真 让我把虚情假意 当作最真心的亲吻 怪自己来不及区分 你对我是酷爱是敷衍 我想问问问问问 我该怎么脱身 你却说花花世 阅读全文

摘要： 这是很多人困惑的地方。它们俩形状很像，都是“S”型，但有一个最关键的区别： 特性 tanh Sigmoid 输出范围 -1 到 1 0 到 1 对称性 关于原点(0,0)对称 不对称 常用场景 隐藏层（效果好，因为均值接近0，可使后续计算更稳定） 输出层（尤其适合处理概率问题，因为概率范围是0到1） 阅读全文

摘要： 流水不争先，争的是滔滔不绝—— 每日渐进，终抵远方 LSTM（Long Short-Term Memory，长短期记忆网络） 他的前身是RNN（循环神经网络），为啥我们拿着好端端的RNN不用，非要寻找其他的网络算法呢？ 这是因为RNN本身存在缺陷： RNN的初衷：处理序列数据（如句子、语音、时间序列 阅读全文

摘要： 我：要去上课了，哎，不想去上课，我想在工位带着。算了，还是去吧。我的伞放在工位门口左边，光线很黑，拿错了雨伞，拿成了学长的雨伞去上课。一到教室，刚坐下，老师就开始说，不让坐最后一排啊，你们几个快做前面去，然后我就拿着我的伞坐到了前面。这课是真无聊，我准备上完第一小节直接跑了。走的时候，我拿了我桌兜里 阅读全文

摘要： 流水不争先，争的是滔滔不绝—— 每日渐进，终抵远方 Self-Attention (自注意力机制) 定义：Query, Key, Value 全部来自于同一个序列（比如同一个句子）。 目的：捕捉一个序列内部元素之间的相互关系。它让序列中的每个元素都与其他所有元素“对话”一次，从而获得一个融入了全局上 阅读全文

摘要： 注意力机制：我们会把焦点聚焦在比较重要的事物上。 Q：查询对象 V：被查询对象 要通过计算Q和V里的事物的重要度，也就是事物的相似度（是否接近）计算。 通过点乘的方法来计算Q和K里的每一个事物的相似度，就可以拿到Q和k1（k2....）的相似值a1（a2.....）。 然后做一层softmax（a1 阅读全文