摘要： BN的深度理解：https://www.cnblogs.com/guoyaohua/p/8724433.html BN: BN的意义：在激活函数之前将输入归一化到高斯分布，控制到激活函数的敏感区域，避免激活函数的梯度饱和导致梯度消失，增加学习效率 （1）加速收敛（2）控制过拟合，可以少用或不用Dro 阅读全文

摘要： 数据预处理： 一般用0均值化数据，若所有输入都是正的，则得到权重上的梯度也都是正的，会得到次最优的优化梯度 通过标准差来归一化 初始化权重： 如果以0（或相同的值）为所有权重的初始值，会导致所有的神经元将做同样的事，每个神经元将在输入数据上有相同的操作输出相同的值，得到相同的梯度，参数更新也相同，得 阅读全文

摘要： 激活函数： 激活函数（Activation functions）对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数。引入激活函数是为了增加神经网 阅读全文

摘要： 三层的神经网络： 全链接层： 卷积层与全连接层的主要差别：卷积层可以保全空间结构 图像卷积： 输出尺寸与输入尺寸、步长Stride间的关系： 为了得到想要的输出尺寸，常用0作边界填充或扩充原有数据或复制原有数据： 例： 输出尺寸计算： 卷积层参数个数计算： 总结： 1 阅读全文

摘要： 转自：https://ptorch.com/news/52.html torch.Storage是单个数据类型的连续的一维数组，每个torch.Tensor都具有相同数据类型的相应存储。他是torch.tensor底层数据结构,他除了像Tensor一样定义数值，还可以直接把文件映射到内存中进行操作， 阅读全文

摘要： 梯度下降原理及其过程：https://blog.csdn.net/qq_41800366/article/details/86583789 有限差分估计梯度： 写起来简单，但速度慢而且结果区分度不大 解析梯度： 计算图： 反向传播工作机制： 从输出开始乘以每个节点的本地梯度，一直传递到输入 梯度从后 阅读全文

摘要： 引言： 深度学习的本质是用多层的神经网络找到一个可以被学习的复杂的函数实现语音识别，图像识别等功能。 多层神经网络的结构： 多层神经元的组成，每一层的输入都等于上一层的输出。 应用领域：cv，nlp 监督学习： 需要计算一个目标函数来测量出实际输出与预计输出之间的误差（距离），机器通过修改其参数来减 阅读全文

摘要： numpy属性： ndim--维度，shape--行数和列数，size--元素个数 数组合并与拆分 copy() 广播机制： 当数组跟一个标量进行计算时，标量需要根据数组的形状进行扩展，然后执行运算。该扩展过程称为“广播” 常用API： bincount():计算索引出现次数 argmax():返回 阅读全文

摘要： 转：https://blog.csdn.net/oldmao_2001/article/details/90699046?from=groupmessage&isappinstalled=0 在线Latex公式 损失函数 计算网络预测值与真实值不一致程度的函数，以此评价当前模型的好坏。 交叉熵损失函 阅读全文

摘要： 转自：https://blog.csdn.net/oldmao_2001/article/details/90665515 最近邻分类器： 通俗来讲，计算测试样本与所有样本的距离，将测试样本归为距离最近的样本类。 K近邻分类器： 计算测试样本与K个最近样本的距离，将测试样本归为K个样本中相同类别个数 阅读全文