随笔分类 - # python
摘要：文章目录 类别损失Cross Entropy Loss二分类损失多分类损失 Focal Loss α \alpha α平衡正负样本 ( 1 − p t ) γ (1-p_t)^\gamma (1−pt)γ平衡难易样本 α + γ \alpha + \gamma α+γ结合 位置损失L1 LossL
阅读全文
摘要：文章目录 原因解决方案1.预训练和微调2.relu、leakyrelu、Relu等激活函数3.Batch Normalization(批规范化)4.残差结构5.梯度剪切、正则6.LSTM（长短期记忆网络） 原因 梯度消失和梯度爆炸两种情况产生的原因可以总结成2类原因：1.深层网络的结构；2.不合适的
阅读全文
摘要：文章目录 前言训练集loss不下降1.模型结构和特征工程存在问题2.权重初始化方案有问题3.正则化过度4.选择合适的激活函数，损失函数5.选择合适的优化器和学习速率6.训练时间不足7.模型训练遇到瓶颈8.batch size过大9.数据集未打乱10.数据集有问题11.未进行归一化12.特征工程中对数
阅读全文
摘要：文章目录 来源应用作用跨通道的特征整合特征通道的升维特征通道的降维减少卷积核参数（简化模型）保持feature map尺度不变，增加非线性 和全连接层的关系 来源 Network In Network一文中提到，如果1×1卷积核接在普通的卷积层后面，配合激活函数，即可实现network in net
阅读全文
摘要：文章目录 前言宏观把控BackBone为什么要拿图像分类的模型作为backbone呢？如何实现迁移+微调 HeadNeck总结补充Backbone + Neck + Detection head 模块：目标检测的正样本 Inference 前言 为什么说是截至2020，因为在2020之后出现了tra
阅读全文
摘要：BN与LN的区别 主要区别在于 normalization的方向不同！ Batch 顾名思义是对一个batch进行操作。假设我们有 10行 3列 的数据，即我们的batchsize = 10，每一行数据有三个特征，假设这三个特征是【身高、体重、年龄】。那么BN是针对每一列（特征）进行缩放，例如算出【
阅读全文
摘要：文章目录 model.train()🎃model.eval()model.train()model.eval() model.eval()🎃torch.no_grad()Inference model.train()🎃model.eval() model.train()和model.eval(
阅读全文
摘要：文章目录 0️⃣前言1️⃣概念2️⃣如何计算网络中的参数量(param)🐱👤2.1卷积层：🐱👤2.2池化层:🐱👤2.3全连接层: 3️⃣如何计算网络中的计算量🐱👓3.1一次卷积的计算量，如何计算呢？🐱👓3.2全连接层的计算量 4️⃣计算参数量和计算量（pytorch库）
阅读全文
摘要：文章目录 🐱👓梯度下降🐱💻随机梯度下降🐱🚀mini-batch梯度下降🐱👤总结 🐱👓梯度下降 梯度下降又名批量梯度下降（Batch Gradient Descent），采用的方法是计算一个epoch（每个epoch都包含所有样本量）中所有样本的Loss和，对损失求平均就
阅读全文
摘要：文章目录 1.线程的基本概念2.线程的好处3.进程的概念4.进程的基本状态及状态之间的关系5.线程和进程的关系以及区别？6.引用 1.线程的基本概念 线程是进程中执行运算的最小单位，是进程中的一个实体，是被系统独立调度和分派的基本单位，线程自己不拥有系统资源，只拥有一点在运行中必不可少的资源，但它可
阅读全文
