随笔分类 - 深度学习基础知识2021-2022
摘要:作者:Henry链接:https://zhuanlan.zhihu.com/p/539233251来源:知乎 1、从模型方面考虑。举例说明:本身问题是二次的,用线性模型处理问题就是欠拟合,用三次及更高次处理问题就是过拟合。但是这里未考虑数据量的多少,只是针对本身模型阶次的考虑。而且现实问题,越强大的
阅读全文
摘要:torch.cuda.is_available()cuda是否可用; torch.cuda.device_count()返回gpu数量; torch.cuda.get_device_name(0)返回gpu名字,设备索引默认从0开始; torch.cuda.current_device()返回当前设
阅读全文
摘要:1.lr_scheduler.StepLR class torch.optim.lr_scheduler.StepLR(optimizer, step_size, gamma=0.1, last_epoch=-1) 功能: 等间隔调整学习率,调整倍数为gamma倍,调整间隔为step_size。间隔
阅读全文
摘要:#-*-coding:utf-8-*- import numpy as np import matplotlib.pyplot as plt from itertools import cycle from sklearn.metrics import roc_curve, auc from sci
阅读全文
摘要:对于业务用户来说,希望技术团队完成的是正确分类,区别无分是分成两类还是多类,是一个级别的分类还是多个级别的分类,然后要求准一点。那么什么是准一点呢?也许用户还没有意识到这个问题的复杂性,或者说没有意识到他们真正关心的是什么。由于多分类问题可以简化为多个二分类问题,我们直接来分析看似简单的二分类问题。
阅读全文
摘要:研究生开学以后不怎么写博客了,其实应该坚持写的。 分类模型的指标:f1-score,auc,roc曲线,precision,specificity,sensitivity,recall,accuracy confusion matrix混淆矩阵 多分类的f1-score: (1)micro (2)m
阅读全文
摘要:一层layer可以有多个通道channel(或者说特征图)如果输入的是一个RGB图像,那么就会有3个通道。 "kernel"是被用来描述”filter”的结构。 一个"kernel"更倾向于是2D的权重矩阵。而'filter"则是指多个Kernel堆叠的3D结构。如果是一个2D的filter,那么两
阅读全文
摘要:He初始化是何凯明等提出的一种鲁棒的神经网络参数初始化方法,动机同Xaviar初始化基本一致,都是为了保证信息在前向传播和反向传播过程中能够有效流动,使不同层的输入信号的方差大致相等。 关于参数的大部分假设同Xaviar初始化一致,但是,He初始化对应的是非线性激活函数(Relu 和 Prelu),
阅读全文
摘要:1.功能上:偏置可以加速神经网络拟合。 加了偏置项的神经网络有更复杂的参数结构,拟合能力更好。 2.形式上:偏置b可以视为控制每个神经元的阈值(-b等于神经元阈值)。 举例如:神经元的激活函数f为sign。每个神经元的输出即为sign(WX +b)。 当 wx < -b时, 输出值为-1,也就是抑制
阅读全文
摘要:自监督学习的方法主要可以分为 3 类: 1.基于上下文(Context based) 基于数据本身的上下文信息,我们其实可以构造很多任务,比如在 NLP 领域中最重要的算法 Word2vec 。Word2vec 主要是利用语句的顺序,例如 CBOW 通过前后的词来预测中间的词,而 Skip-Gram
阅读全文
摘要:1.监督需要人工标记的数据 2.无监督不需要任何标记的数据,不依赖任何标签值,通过对数据内在特征的挖掘,找到样本间的关系,比如聚类 3.半监督学习利用少量有标签的数据和大量无标签的数据来训练网络 一、半监督学习可以分为:直推半监督学习、归纳半监督学习 (1)直推半监督学习 直推半监督学习(Semi-
阅读全文
摘要:对于最初输入图片样本的通道数 in_channels 取决于图片的类型,如果是彩色的,即RGB类型,这时候通道数固定为3,如果是灰色的,通道数为1。卷积完成之后,输出的通道数 out_channels 取决于过滤器的数量。从这个方向理解,这里的 out_channels 设置的就是过滤器的数目。对于
阅读全文
摘要:NCHW中,“N”batch批量大小,“C”channels特征图通道数,“H”特征图的高,和“W”特征图的宽。 其中N表示这批图像有几张,H表示图像在竖直方向有多少像素,W表示水平方向像素数,C表示通道数(例如黑白图像的通道数C=1,而RGB彩色图像的通道数C=3)。为了便于演示,我们后面作图均使
阅读全文
摘要:https://blog.csdn.net/hanghangaidoudou/article/details/78688696 最近参加比赛,又要重温一些数学公式!
阅读全文
摘要:https://blog.csdn.net/hanghangaidoudou/article/details/78688696 最近参加比赛,又要重温一些数学公式!
阅读全文
摘要:https://zhuanlan.zhihu.com/p/133250753
阅读全文
摘要:
阅读全文
摘要:RMSProp算法的全称叫 Root Mean Square Prop(均方根传递),是 Hinton 在 Coursera 课程中提出的一种优化算法,在上面的 Momentum 优化算法中,虽然初步解决了优化中摆动幅度大的问题。 为了进一步优化损失函数在更新中存在摆动幅度过大的问题,并且进一步加快
阅读全文
摘要:一、What is sequence transduction models? What is Sequence Transduction? • Any task where input sequences are transformed into output. sequences. • Prac
阅读全文
摘要:1.计算量对应我们之前的时间复杂度,参数量对应于我们之前的空间复杂度 2.https://blog.csdn.net/qq_40507857/article/details/118764782
阅读全文