摘要： 深度学习中常常会存在过拟合现象,比如当训练数据过少时,训练得到的模型很可能在训练集上表现非常好,但是在测试集上表现不好. 应对过拟合,可以通过数据增强,增大训练集数量.我们这里先不介绍数据增强,先从模型训练的角度介绍常用的应对过拟合的方法. 权重衰减 权重衰减等价于 $L_2$ 范数正则化（regu 阅读全文

摘要： 多层感知机 上图所示的多层感知机中，输入和输出个数分别为4和3，中间的隐藏层中包含了5个隐藏单元（hidden unit）。由于输入层不涉及计算，图3.3中的多层感知机的层数为2。由图3.3可见，隐藏层中的神经元和输入层中各个输入完全连接，输出层中的神经元和隐藏层中的各个神经元也完全连接。因此，多层 阅读全文

摘要： FashionMNIST数据集共70000个样本,60000个train,10000个test．共计10种类别. 通过如下方式下载． softmax从零实现 数据加载 初始化模型参数 模型定义 损失函数定义 优化器定义 训练 数据加载 初始化模型参数 模型定义 记忆要点:沿着dim方向.行为维度0, 阅读全文

摘要： 前几节介绍的线性回归模型适用于输出为连续值的情景。在另一类情景中，模型输出可以是一个像图像类别这样的离散值。对于这样的离散值预测问题，我们可以使用诸如softmax回归在内的分类模型。和线性回归不同，softmax回归的输出单元从一个变成了多个，且引入了softmax运算使输出更适合离散值的预测和训 阅读全文

摘要： 关于什么是线性回归,不多做介绍了.可以参考我以前的博客 实现线性回归 分为以下几个部分: 生成数据集 读取数据 初始化模型参数 定义模型 定义损失函数 定义优化算法 训练模型 生成数据集 我们构造一个简单的人工训练数据集，它可以使我们能够直观比较学到的参数和真实的模型参数的区别。设训练数据集样本数为 阅读全文

摘要： 深度学习：欠拟合问题的几种解决方案 发布者：AI柠檬博主 2018 04 09 深度学习：欠拟合问题的几种解决方案有2条评论 <! .entry meta 点击量：29849我最近做深度学习在连续中文语音识别方向的应用的时候，根据一些论文和网上一些公开代码和模型结构，设计了一个神经网络的模型。但是在 阅读全文

摘要： 生成shape为(num_examples, num_inputs)，符合0-1分布的数据. np.random.normal(0, 1, (num_examples, num_inputs)) 判断两个ndarray是否近似 https://docs.scipy.org/doc/numpy/ref 阅读全文

摘要： 计算数据集的mean和std 阅读全文

摘要： 消除图像共性:https://blog.csdn.net/qq_19329785/article/details/84569604 基本在deep learning中只要你是使用gradient descent来训练模型的话都要在数据预处理步骤进行数据归一化。为什么要采用这种预处理方式呢？首先如果输 阅读全文

摘要： PyTorch提供的autograd包能够根据输⼊和前向传播过程⾃动构建计算图，并执⾏反向传播。 Tensor Tensor的几个重要属性或方法 .requires_grad 设为true的话,tensor将开始追踪在其上的所有操作 .backward()完成梯度计算 .grad属性 计算的梯度累积 阅读全文