刘-皇叔 - 博客园

2018年8月29日

摘要：偏差，方差（ Bias /Variance）假设数据集：如果给这个数据集拟合一条直线，可能得到一个逻辑回归拟合，但它并不能很好地拟合该数据，这是高偏差（ high bias）的情况，我们称为“欠拟合（” underfitting）。相反的如果我们拟合一个非常复杂的分类器，比如深度神经网络或阅读全文

posted @ 2018-08-29 16:02 刘-皇叔阅读(741) 评论(0) 推荐(0) 编辑

1-1 训练，验证，测试集

摘要：训练，验证，测试集（ Train / Dev / Test sets）在配置训练、验证和测试数据集的过程中做出正确决策会在很大程度上帮助大家创建高效的神经网络。通常我们会将数据集分层三类：训练集:执行算法验证集，也称作简单的交叉验证集：选择好的模型测试集：对模型性能进行评估数据集划分原则阅读全文

posted @ 2018-08-29 15:57 刘-皇叔阅读(875) 评论(2) 推荐(0) 编辑

2018年8月27日

Deep Neural Network for Image Classification: Application

摘要：作业简介使用前面完成的函数构建神经网络，并运用到猫的分类问题中。我们可以得到相比于logistic回归准确性提高的模型。工具包数据集还是使用与logistic·回归对猫分类问题中的数据集：输出：数据集详细信息：输出：数据集预处理：输出：构建模型两层网络 L层网络基本流程两层阅读全文

posted @ 2018-08-27 22:06 刘-皇叔阅读(620) 评论(0) 推荐(0) 编辑

Building your Deep Neural Network: Step by Step

摘要：作业简介本次作业是要构建深度神经网络，通过本次作业：能够使用Relu激活函数来改善你的模型创建深度的神经网络(超过一个隐藏层) 实现易于使用的网络类工具包引入本次作业需要的工具包：本次作业的架构初始化两层和L层神经网络的参数执行前向传播计算前向传播的线性部分使用激活函数结合上述阅读全文

posted @ 2018-08-27 09:01 刘-皇叔阅读(578) 评论(0) 推荐(2) 编辑

2018年8月26日

Planar data classification with one hidden layer

摘要：作业简介本次作业将实现含有一个隐藏层的神经网络，你将会体验到与之前logistic实现的不同：使用含有一个隐藏层的神经网络实现2分类。使用一个非线性的激活函数(比如tanh)。计算交叉熵损失。实现前向传播和反向传播。工具包 sklearn包：提供简单有效的数据挖掘和数据分析。数据集加阅读全文

posted @ 2018-08-26 20:45 刘-皇叔阅读(1361) 评论(0) 推荐(2) 编辑

Logistic Regression with a Neural Network mindset

摘要：作业简介本次作业的内容是使用logistic回归来对猫进行分类，你将会了解到创建一个学习算法的基本步骤：参数初始化；计算代价函数与梯度；使用优化函数(在此使用梯度下降)；使用一个main函数将上述三个步骤合理的安排在一起。本次作业使用的数据集下载链接。工具包使用下面的代码引入本次作业阅读全文

posted @ 2018-08-26 14:10 刘-皇叔阅读(1162) 评论(0) 推荐(0) 编辑

2018年8月25日

4-6 参数 VS 超参数

摘要：参数 VS 超参数（ Parameters vs Hyperparameters）比如算法中的 learning rate (学习率)a，iterations (梯度下降法循环次数)、L(隐藏层数目)、${n^{[l]}}$（隐藏层单元数目）、choice of activation functi 阅读全文

posted @ 2018-08-25 18:07 刘-皇叔阅读(330) 评论(0) 推荐(0) 编辑

4-5 搭建神经网络块

摘要：搭建神经网络块（ Building blocks of deep neural networks）在神经网络中正向步骤的结构，我把它成为称为正向函数，类似的在反向步骤中会称为反向函数。单一模块的正向函数和反向函数可以使用下面的图示表示：对于第l层的正向输入函数，输入为${a^{[l - 1]}} 阅读全文

posted @ 2018-08-25 17:23 刘-皇叔阅读(678) 评论(0) 推荐(0) 编辑

4-4 为什么使用深层表示?

摘要：为什么使用深层表示？（ Why deep representations?）深度神经网络的这许多隐藏层中，较早的前几层能学习一些低层次的简单特征，等到后几层，就能把简单的特征结合起来，去探测更加复杂的东西。比如人脸识别检测时，一般会从比较小的细节入手，比如边缘，然后再一步步到更大更复杂的区域，比阅读全文

posted @ 2018-08-25 16:49 刘-皇叔阅读(689) 评论(0) 推荐(0) 编辑

4-3 核对矩阵的维数

摘要：核对矩阵的维数（ Getting your matrix dimensions right）在神经网络的计算过程中，特别需要注意的一点就是确认各个矩阵的维度，一般的规律为： w的维度是（下一层的结点个数，上一层的结点个数），即： b的维度是(下一层的结点个数，1)，即： a和z的维度是： dw和w 阅读全文

posted @ 2018-08-25 15:51 刘-皇叔阅读(950) 评论(0) 推荐(0) 编辑

4-2 前向传播和反向传播

摘要：前向传播和反向传播（ Forward and backward propagation）前向传播假设输入${a^{[l - 1]}}$，输出${a^{[l]}}$，缓存${z^{[l]}}$,从实现的角度来说缓存${w^{[l]}}$，${b^{[l]}}$更容易在不同的环节调用函数。向量化实阅读全文

posted @ 2018-08-25 14:56 刘-皇叔阅读(1848) 评论(0) 推荐(0) 编辑

4-1 深层神经网络

摘要：深层神经网络（ Deep L-layer neural network）如下图所示，表示从logistic 回归到5层的神经网络，严格的说，logistic回归也是一个一层的神经网络，神经网络的深浅只是一种程度。有一些函数，只有非常深的神经网络能学会，而更浅的模型则办不到。对于给定的问题，先去阅读全文

posted @ 2018-08-25 14:16 刘-皇叔阅读(520) 评论(0) 推荐(0) 编辑

3-8 随机初始化

摘要：随机初始化（ Random Initialization）对于逻辑回归，把权重初始化为 0当然也是可以的。但是对于一个神经网络，如果你把权重或者参数都初始化为 0，那么梯度下降将不会起作用。如上图所示的神经网络以及初始化方式，其结果$a_1^{[1]} = a_2^{[1]}$，反向传播时：$d 阅读全文

posted @ 2018-08-25 10:57 刘-皇叔阅读(1091) 评论(0) 推荐(0) 编辑

2018年8月24日

3-7 神经网络的梯度下降

摘要：神经网络的梯度下降（ Gradient descent for neural networks）对于一个两层神经网络，输入参数：${W^{[1]}}$, ${b^{[1]}}$, ${W^{[2]}}$, ${b^{[2]}}$,输入特征个数${n_x}$,隐藏层结点的个数${n^{[1]}}$ 阅读全文

posted @ 2018-08-24 12:59 刘-皇叔阅读(1173) 评论(0) 推荐(1) 编辑

2018年8月23日

3-6 激活函数的导数

摘要：激活函数的导数（ Derivatives of activation functions） Sigmoid函数导数为： tanh函数导数为： Relu函数在z=0时，通常给定导数1,0，当然z=0的情况很少。 Leaky Relu函数在z=0时，通常给定导数1,0.01，当然z=0的情况很少阅读全文

posted @ 2018-08-23 21:52 刘-皇叔阅读(2078) 评论(0) 推荐(0) 编辑

3-5 激活函数

摘要：激活函数（ Activation functions）常用激活函数：依次为： Sigmoid函数 tanh函数或双曲正切函数 tanh可以看做是sigmoid函数向下平移和伸缩的结果，对它变形之后，穿过了(0,0)点，并且阈值介于-1和+1之间。在隐藏层上使用tanh函数效果优于sigmoid 阅读全文

posted @ 2018-08-23 21:50 刘-皇叔阅读(606) 评论(0) 推荐(0) 编辑

2018年8月22日

3-4 多样本向量化

摘要：多样本向量化（ Vectorizing across multiple examples）前面已经了解了单一训练样本神经网络计算过程：如果有m个样本就要重复这个过程m次，第一个样本记作：${x^{[1]}} $，预测值记作：${{\hat y}^{[1]}} $，依次，第m个样本${x^{[m] 阅读全文

posted @ 2018-08-22 22:46 刘-皇叔阅读(665) 评论(0) 推荐(0) 编辑

3-3 计算一个神经网络的输出

摘要：计算一个神经网络的输出（ Computing a Neural Network's output）下图表示一个两层的神经网络：逻辑回归的计算分为两个步骤，先计算出z，在通过sigmoid函数计算出a，神经网络只是多次重复这样的计算。按照上述的计算方法，可以得到隐藏层的计算结果：向量化上述计算阅读全文

posted @ 2018-08-22 22:29 刘-皇叔阅读(1441) 评论(0) 推荐(0) 编辑

3-2 神经网络的表示

摘要：神经网络的表示（ Neural Network Representation）神经网络：我们有输入特征x1,x2,x3它们被竖着堆叠起来，这叫做神经网络的输入层，它包含了神经网络的输入。之后的一层称之为隐藏层。最后一层由一个结点构成，称为输出层，它复制产生预测值。隐藏层的含义：在监督训练阅读全文

posted @ 2018-08-22 21:12 刘-皇叔阅读(1187) 评论(0) 推荐(0) 编辑

3-1 神经网络概述

摘要：神经网络概述（ Neural Network Overview）前面所说的逻辑回归的例子回顾：神经网络可以表示成如下图所示，可以看成把许多个sigmoid函数堆叠起来就构成一个神经网络。计算过程：这里的[1]表示层的概念。阅读全文

posted @ 2018-08-22 20:33 刘-皇叔阅读(517) 评论(0) 推荐(0) 编辑

刘皇叔

接着奏乐，接着舞！

公告