随笔分类 - Python[神经网络]
摘要：CNN学习笔记：批标准化 Batch Normalization Batch Normalization, 批标准化, 是将分散的数据统一的一种做法, 也是优化神经网络的一种方法。 在神经网络的训练过程中，随着网络深度的增加，后面每一层的输入值（即x=WU+B，U是输入）逐渐发生偏移和变动，之所以训
阅读全文
摘要：Keras实践：模型可视化 安装Graphviz 官方网址为：http://www.graphviz.org/。我使用的是mac系统，所以我分享一下我使用时遇到的坑。 Mac安装时在终端中执行： 若卡在Updating Homebrew....，需要取消brew的自动更新： 安装PyDot 加载模型
阅读全文
摘要：CNN学习笔记：目标函数 分类任务中的目标函数 目标函数，亦称损失函数或代价函数，是整个网络模型的指挥棒，通过样本的预测结果与真实标记产生的误差来反向传播指导网络参数学习和表示学习。 假设某分类任务共N个训练样本，针对网络最后分类层第i个样本的输入特征为xi，其对应的真实标记为yi∈{1,2,...
阅读全文
摘要：Keras实践：实现非线性回归 代码 拟合效果如下：
阅读全文
摘要：CNN学习笔记：卷积神经网络 卷积神经网络 卷积神经网络是一种层次模型，其输入是原始数据，如RGB图像、音频等。卷积神经网络通过卷积（convolution）操作、汇合（pooling）操作和非线性激活函数的映射等一系列操作的层层堆叠，将高层语义信息逐层由原始信息中抽取出来，逐层抽象。 基本结构 卷
阅读全文
摘要：CNN学习笔记：全连接层 全连接层 全连接层在整个网络卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的特征表示映射到样本的标记空间的作用。 一段来自知乎的通俗理解： 从卷积网络谈起，卷积网络在形式上有一点点像咱们正在召
阅读全文
摘要：CNN学习笔记：池化层 池化 池化（Pooling）是卷积神经网络中另一个重要的概念，它实际上是一种形式的降采样。有多种不同形式的非线性池化函数，而其中“最大池化（Max pooling）”是最为常见的。它是将输入的图像划分为若干个矩形区域，对每个子区域输出最大值。直觉上，这种机制能够有效地原因在于
阅读全文
摘要：CNN学习笔记：卷积运算 边缘检测 卷积 卷积是一种有效提取图片特征的方法。一般用一个正方形卷积核，遍历图片上的每一个像素点。图片与卷积核重合区域内相对应的每一个像素值乘卷积核 、内相对应点的权重，然后求和，再加上偏置后，最后得到输出图片中的一个像素值。 卷积操作的作用 卷积是一种局部操作，通过一定
阅读全文
摘要：CNN学习笔记：激活函数 激活函数 激活函数又称非线性映射，顾名思义，激活函数的引入是为了增加整个网络的表达能力（即非线性）。若干线性操作层的堆叠仍然只能起到线性映射的作用，无法形成复杂的函数。常用的函数有sigmoid、双曲正切、线性修正单元函数等等。 使用一个神经网络时，需要决定使用哪种激活函数
阅读全文
摘要：CNN学习笔记：梯度下降法 梯度下降法 梯度下降法用于找到使损失函数尽可能小的w和b，如下图所示，J(w,b)损失函数是一个在水平轴w和b上面的曲面，曲面的高度表示了损失函数在某一个点的值
阅读全文
摘要：CNN学习笔记：Logistic回归 线性回归 二分类问题 Logistic回归是一个用于二分分类的算法，比如我们有一张图片，判断其是否为一张猫图，为猫输出1，否则输出0。 基本术语 进行机器学习，首先要有数据，比如我们收集了一批关于西瓜的数据，例如 （色泽=青绿；根蒂=收缩；敲声=浊响） （色泽=
阅读全文
摘要：CNN学习笔记：神经网络表示 双层神经网络模型 在一个神经网络中，当你使用监督学习训练它的时候，训练集包含了输入x还有目标输出y。隐藏层的含义是，在训练集中，这些中间节点的真正数值，我们是不知道的，即在训练集中你看不到他们的数值，我们只能看到输入和输出。 定义神经网络的层数 神经网络层数是指，除输入
阅读全文
摘要：CNN学习笔记：正则化缓解过拟合 过拟合现象 在下图中，虽然绿线完美的匹配训练数据，但太过依赖，并且与黑线相比，对于新的测试数据上会具有更高的错误率。虽然这个模型在训练数据集上的正确率很高，但这个模型却很难对从未见过的数据做出正确响应，认为该模型存在过拟合现象。 绿线代表过拟合模型，黑线代表正则化模
阅读全文