12 2023 档案

神经网络优化篇：详解归一化输入（Normalizing inputs）
摘要：归一化输入 训练神经网络，其中一个加速训练的方法就是归一化输入。假设一个训练集有两个特征，输入特征为2维，归一化需要两个步骤： 零均值 归一化方差； 希望无论是训练集和测试集都是通过相同的\(μ\)和\(σ^2\)定义的数据转换，这两个是由训练集得出来的。 第一步是零均值化，\(\mu = \fra 阅读全文
posted @ 2023-12-28 10:30 Oten 阅读(680) 评论(0) 推荐(0)
神经网络优化篇：详解其他正则化方法（Other regularization methods）
摘要：其他正则化方法 除了\(L2\)正则化和随机失活（dropout）正则化，还有几种方法可以减少神经网络中的过拟合: 一.数据扩增 假设正在拟合猫咪图片分类器，如果想通过扩增训练数据来解决过拟合，但扩增数据代价高，而且有时候无法扩增数据，但可以通过添加这类图片来增加训练集。例如，水平翻转图片，并把它添 阅读全文
posted @ 2023-12-27 11:28 Oten 阅读(179) 评论(0) 推荐(0)
神经网络优化篇：如何理解 dropout（Understanding Dropout）
摘要：理解 dropout Dropout可以随机删除网络中的神经单元，为什么可以通过正则化发挥如此大的作用呢？ 直观上理解：不要依赖于任何一个特征，因为该单元的输入可能随时被清除，因此该单元通过这种方式传播下去，并为单元的四个输入增加一点权重，通过传播所有权重，dropout将产生收缩权重的平方范数的效 阅读全文
posted @ 2023-12-26 09:48 Oten 阅读(455) 评论(0) 推荐(0)
神经网络优化篇：详解dropout 正则化（Dropout Regularization）
摘要：dropout 正则化 除了\(L2\)正则化，还有一个非常实用的正则化方法——“Dropout（随机失活）”。 假设在训练上图这样的神经网络，它存在过拟合，这就是dropout所要处理的，复制这个神经网络，dropout会遍历网络的每一层，并设置消除神经网络中节点的概率。假设网络中的每一层，每个节 阅读全文
posted @ 2023-12-21 10:10 Oten 阅读(1714) 评论(0) 推荐(0)
神经网络优化篇：为什么正则化有利于预防过拟合呢？（Why regularization reduces overfitting?）
摘要：为什么正则化有利于预防过拟合呢？ 通过两个例子来直观体会一下。 左图是高偏差，右图是高方差，中间是Just Right。 现在来看下这个庞大的深度拟合神经网络。知道这张图不够大，深度也不够，但可以想象这是一个过拟合的神经网络。这是的代价函数\(J\)，含有参数\(W\)，\(b\)。添加正则项，它可 阅读全文
posted @ 2023-12-20 10:18 Oten 阅读(261) 评论(0) 推荐(0)
神经网络优化篇：详解正则化（Regularization）
摘要：正则化 深度学习可能存在过拟合问题——高方差，有两个解决方法，一个是正则化，另一个是准备更多的数据，这是非常可靠的方法，但可能无法时时刻刻准备足够多的训练数据或者获取更多数据的成本很高，但正则化通常有助于避免过拟合或减少的网络误差。 如果怀疑神经网络过度拟合了数据，即存在高方差问题，那么最先想到的方 阅读全文
posted @ 2023-12-19 13:45 Oten 阅读(2480) 评论(0) 推荐(0)
神经网络优化篇：机器学习基础（Basic Recipe for Machine Learning）
摘要：机器学习基础 下图就是在训练神经网络用到的基本方法：（尝试这些方法，可能有用，可能没用） 这是在训练神经网络时用到地基本方法，初始模型训练完成后，首先要知道算法的偏差高不高，如果偏差较高，试着评估训练集或训练数据的性能。如果偏差的确很高，甚至无法拟合训练集，那么要做的就是选择一个新的网络，比如含有更 阅读全文
posted @ 2023-12-18 09:52 Oten 阅读(120) 评论(0) 推荐(0)
神经网络优化篇：详解偏差，方差（Bias /Variance）
摘要：偏差，方差 注意到，几乎所有机器学习从业人员都期望深刻理解偏差和方差，这两个概念易学难精，即使自己认为已经理解了偏差和方差的基本概念，却总有一些意想不到的新东西出现。关于深度学习的误差问题，另一个趋势是对偏差和方差的权衡研究甚浅，可能听说过这两个概念，但深度学习的误差很少权衡二者，总是分别考虑偏差和 阅读全文
posted @ 2023-12-08 10:03 Oten 阅读(786) 评论(0) 推荐(0)
神经网络优化篇：详解训练，验证，测试集（Train / Dev / Test sets）
摘要：训练，验证，测试集 在配置训练、验证和测试数据集的过程中做出正确决策会在很大程度上帮助大家创建高效的神经网络。训练神经网络时，需要做出很多决策，例如： 神经网络分多少层 每层含有多少个隐藏单元 学习速率是多少 各层采用哪些激活函数 创建新应用的过程中，不可能从一开始就准确预测出这些信息和其他超级参数 阅读全文
posted @ 2023-12-07 11:49 Oten 阅读(1709) 评论(0) 推荐(0)
神经网络入门篇：深度学习和大脑的关联性（What does this have to do with the brain?）
摘要：深度学习和大脑的关联性 开始讲故事（手动狗头） 深度学习和大脑有什么关联性吗？ 关联不大。 那么为什么会说深度学习和大脑相关呢？ 当你在实现一个神经网络的时候，那些公式是你在做的东西，你会做前向传播、反向传播、梯度下降法，其实很难表述这些公式具体做了什么，深度学习像大脑这样的类比其实是过度简化了我们 阅读全文
posted @ 2023-12-06 10:16 Oten 阅读(126) 评论(0) 推荐(0)
神经网络入门篇：详解参数VS超参数（Parameters vs Hyperparameters）
摘要：参数 VS 超参数 什么是超参数？ 比如算法中的learning rate \(a\)（学习率）、iterations(梯度下降法循环的数量)、\(L\)（隐藏层数目）、\({{n}^{[l]}}\)（隐藏层单元数目）、choice of activation function（激活函数的选择）都需 阅读全文
posted @ 2023-12-05 10:14 Oten 阅读(729) 评论(0) 推荐(1)
神经网络入门篇：详解搭建神经网络块（Building blocks of deep neural networks）
摘要：搭建神经网络块 这是一个层数较少的神经网络，选择其中一层（方框部分），从这一层的计算着手。在第\(l\)层有参数\(W^{[l]}\)和\(b^{[l]}\)，正向传播里有输入的激活函数，输入是前一层\(a^{[l-1]}\)，输出是\(a^{[l]}\)，之前讲过\(z^{[l]} =W^{[l] 阅读全文
posted @ 2023-12-04 10:11 Oten 阅读(254) 评论(0) 推荐(0)
神经网络入门篇：详解核对矩阵的维数（Getting your matrix dimensions right）
摘要：核对矩阵的维数 当实现深度神经网络的时候，其中一个常用的检查代码是否有错的方法就是拿出一张纸过一遍算法中矩阵的维数。 \(w\)的维度是（下一层的维数，前一层的维数），即\({{w}^{[l]}}\): (\({{n}^{[l]}}\),\({{n}^{[l-1]}}\))； \(b\)的维度是（下 阅读全文
posted @ 2023-12-01 10:31 Oten 阅读(430) 评论(0) 推荐(0)