摘要：
首先，选择一个网络体系结构；选择你的神经网络的布局，包括每个层有多少隐藏单元，以及你想要拥有多少层。 1.输入层的节点数=x(i)的维度 2.输出层的节点数=分类的数量 3.每层隐藏单位数=通常更好（必须与计算成本相平衡，因为它增加了隐藏单位） 4.默认值：1隐藏层。如果你有超过1个隐藏层，那么建议 阅读全文
摘要：
将所有θ权重初始化为零并不适用于神经网络。当我们反向传播，所有节点将更新为相同的值反复。我们可以为我们的Θ矩阵随机初始化使用以下方法我们的砝码： 因此，我们初始化每个 在[−ϵ，ϵ]。使用上述公式保证我们得到期望的约束。同样的程序适用于所有的Θ的。下面是一些工作的代码，你可以使用实验。 If the 阅读全文
摘要：
梯度检查将确保我们的反向传播工作的预期。我们可以把我们的成本函数的导数近似为： 多θ的矩阵，我们可以近似导数ΘJ如下： 对于ϵ小值（ε）如ϵ= 10−4，保证了正确的数学。如果ϵ的值足够小，我们可以最终数值问题。 因此，我们只添加或减去ε的ΘJ矩阵。在matlab我们可以如下做： epsilon = 阅读全文
摘要：
我们使用神经网络处理矩阵集合： 为了使用优化功能，如“fminunc()”，我们会想“打开”所有的元素放在一个长的矢量： thetaVector = [ Theta1(:); Theta2(:); Theta3(:); ]deltaVector = [ D1(:); D2(:); D3(:) ] 如 阅读全文
摘要：
回想一下，神经网络的代价函数是： 如果我们考虑简单的非多类分类（k＝1）和无视正规化，则计算成本： 更正式地说，delta值实际上是成本函数的导数： 回想一下，我们的导数是与成本函数相切的直线的斜率，所以斜率越陡，我们就越不正确。让我们考虑下面的神经网络在看我们如何计算一些： 阅读全文
摘要：
“反向传播”是最小化成本函数的神经网络术语，就像我们在logistic回归和线性回归中的梯度下降一样。我们的目标是计算： 也就是说，我们希望在θ中使用一组最优参数来最小化我们的成本函数j。在这一节中我们将看看我们用来计算J（Θ）的偏导数方程： 为此，我们使用下面的算法： 反向传播算法实现： 1.得到 阅读全文
摘要：
让我们首先定义一些需要用到的变量： L:神经网络的层数； Sl：第l层神经网络节点数量； K：神经网络输出层节点数； 回想一下，在神经网络中，我们可能有许多输出节点。我们HΘ(x)k表示一个假设的结果在第k个输出节点的输出。 我们的神经网络的成本函数将是我们用于逻辑回归的一个推广。回顾正规logis 阅读全文
摘要：
为了将数据分类为多个类，我们让我们的假设函数返回一个值向量。说我们想把我们的数据分为四类。我们将使用下面的例子来看看这个分类是如何完成的。该算法以图像为输入，对图像进行分类： 我们可以将我们的结果类定义为y： 每个y（i）代表与汽车、行人、卡车或摩托车相对应的不同图像。内层，每一层都为我们提供了一些 阅读全文
摘要：
的Θ（1）矩阵的且，或，非： 我们可以把这些拿到”同“逻辑运算符（如果X1和X2都是0或1则为1）。 在第一层和第二层之间的过渡，我们将使用一个Θ（1）相结合的和矩阵： 第二和第三层之间的过渡，我们将使用一个Θ（2）矩阵的使用价值或： 让我们写下我们所有的节点的值： 我们有了同或算子使用隐藏层节点！ 阅读全文
摘要：
应用神经网络的一个简单例子是预测X1和x2，这是逻辑“和”运算符，只有X1和x2为1时才是真的。 函数的图看起来像： 记住，x0是我们的偏差变量始终是1。 让我们把第一个θ矩阵设为： 如果当x1和x2都为1这将使我们的结果都为真。换言之： 所以我们用一个小的神经网络，而不是用一个实际的门来构造计算机 阅读全文