02 2021 档案
摘要:引言 之前我读了ResNet的论文Deep Residual Learning for Image Recognition,也做了论文笔记,笔记里记录了ResNet的理论基础(核心思想、基本Block结构、Bottleneck结构、ResNet多个版本的大致结构等等),看本文之间可以先看看打打理论基
阅读全文
摘要:基本信息 论文名称 Deep Residual Learning for Image Recognition 作者 Kaiming He Microsoft Research 发表时间 2015年 来源 CVPR2016 主要收获 知识 较深的神经网络难以训练 网络的深度对于许多视觉识别任务至关重要
阅读全文
摘要:RMSProp 2013年Hinton在Coursera提出。 背景 RMSProp是Adagrad的升级版。 在训练神经网络时,损失函数不一定是凸函数(局部最小值即为全局最小值),可能是各种各样的函数,有时需要较大的学习率,有时需要较小的学习率,而Adagrad并不能实现这种效果,因此产生了RMS
阅读全文
摘要:梯度消失(Vanishing Gradient Problem) 定义 1980年代常用的激活函数是sigmoid函数。以MNIST手写数字识别为例,在使用sigmoid函数时会发现随着神经网络层数增加,识别准确率逐渐下降,这个现象的原因并不是过拟合(原因见上文),而是梯度消失。 如上图所示,当神经
阅读全文
摘要:相比于决策树等方法,神经网络更不容易过拟合。 K近邻、决策树等方法在训练集上更容易得到100%等很高的正确率,神经网络一般不能,训练神经网络首先遇到的问题一般是在训练集上的精度不高。 不要总是把精度低归咎于过拟合 如果模型在训练集上精度高,对于K近邻、决策树等方法我们可以直接判断为过拟合,但对于神经
阅读全文
摘要:明确问题类型及其对应方法 在深度学习中,一般有两种问题: 在训练集上性能不好 在测试集上性能不好。 当一个方法被提出时,它往往是针对这两个问题其中之一的,比如dropout方法是用来处理在测试集上性能不好的情况。 处理神经网络在训练集上性能不好的情况的方法 修改神经网络架构,比如换成更好的激活函数
阅读全文
摘要:题目介绍 题目链接 https://pintia.cn/problem-sets/994805342720868352/problems/994805421066272768 题目考点 排序,重点在时间复杂度优化上 题目难度 PAT甲级25分 题目大意 给出N个人,请找出指定年龄范围内最有钱的M个人
阅读全文
摘要:题目介绍 题目链接 https://pintia.cn/problem-sets/994805342720868352/problems/994805468327690240 题目考点 结构体排序,就超简单…… 题目难度 PAT甲级25分 题目大意 Excel可以按照某一列进行排序,要求实现这个函数
阅读全文
摘要:题目介绍 题目链接 https://pintia.cn/problem-sets/994805342720868352/problems/994805474338127872 题目考点 排序、模拟。排序是简单的结构体排序,模拟也不难。这题比较简单(我竟然没看题解做出来了,捂脸) 题目难度 PAT甲级
阅读全文
摘要:题目介绍 题目链接 https://pintia.cn/problem-sets/994805342720868352/problems/994805493648703488 题目考点 map、排序、模拟。map是简单地用了一下,排序也不难,重在模拟。 题目难度 PAT甲级25分 题目大意 长途电话
阅读全文