摘要: 当我们确定学习算法的参数的时候,我们考虑的是选择参量来使训练误差最小化,有人认为得到一个非常小的训练误差一定是一件好事,但我们已经知道,仅仅是因为这个假设具有很小的训练误差,并不能说明它就一定是一个好的假设函数。而且我们也学习了过拟合假设函数的例子,所以这推广到新的训练集上是不适用的。那么,你该如何 阅读全文
posted @ 2019-02-25 21:19 chalee3 阅读(300) 评论(0) 推荐(0) 编辑
摘要: 小结一下使用神经网络时的步骤: 网络结构:第一件要做的事是选择网络结构,即决定选择多少层以及决定每层分别有多少个单元。 第一层的单元数即我们训练集的特征数量。 最后一层的单元数是我们训练集的结果的类的数量。 如果隐藏层数大于1,确保每个隐藏层的单元个数相同,通常情况下隐藏层单元的个数越多越好。 我们 阅读全文
posted @ 2019-02-25 17:30 chalee3 阅读(178) 评论(0) 推荐(0) 编辑
摘要: 当我们对一个较为复杂的模型(例如神经网络)使用梯度下降算法时,可能会存在一些不容易察觉的错误,意味着,虽然代价看上去在不断减小,但最终的结果可能并不是最优解。为了避免这样的问题,我们采取一种叫做梯度的数值检验(Numerical Gradient Checking)方法。这种方法的思想是通过估计梯度 阅读全文
posted @ 2019-02-23 15:37 chalee3 阅读(466) 评论(0) 推荐(0) 编辑
摘要: GitHub代码练习地址:https://github.com/Neo-ML/JavaPractice/blob/master/Intpractice3.java 一 Java中的数据类型 Java中的数据类型主要分为两大类:基本数据类型和引用数据类型。基本数据类型共有8种,分别是:布尔型boole 阅读全文
posted @ 2019-02-23 01:53 chalee3 阅读(134) 评论(0) 推荐(0) 编辑
摘要: 之前我们在计算神经网络预测结果的时候我们采用了一种正向传播方法,我们从第一层开始正向一层一层进行计算,直到最后一层的ℎ𝜃 (𝑥)。 现在,为了计算代价函数的偏导数我们需要采用一种反向传播算法,也就是 首先计算最后一层的误差,然后再一层一层反向求出各层的误差,直到倒数第二层。 以一个例子来说明反向 阅读全文
posted @ 2019-02-22 21:45 chalee3 阅读(694) 评论(0) 推荐(1) 编辑
摘要: 假设神经网络的训练样本有𝑚个,每个包含一组输入𝑥和一组输出信号𝑦,𝐿表示神经网络层数,𝑆𝐼表示每层的neuron 个数(𝑆𝑙表示输出层神经元个数),𝑆𝐿代表最后一层中处理单元的个数。 将神经网络的分类定义为两种情况:二类分类和多类分类,二类分类:𝑆𝐿 = 0, 𝑦 = 0 阅读全文
posted @ 2019-02-21 20:29 chalee3 阅读(2145) 评论(0) 推荐(0) 编辑
摘要: 当我们有不止两种分类时(也就是𝑦 = 1,2,3 ….),比如以下这种情况,该怎么办?如果我们要训练一个神经网络算法来识别路人、汽车、摩托车和卡车,在输出层我们应该有4 个值。例如,第一个值为1 或0 用于预测是否是行人,第二个值用于判断是否为汽车。输入向量𝑥有三个维度,两个中间层,输出层4 个 阅读全文
posted @ 2019-02-21 18:58 chalee3 阅读(1241) 评论(0) 推荐(0) 编辑
摘要: 魔术方法就是不需要人为调用的方法,基本是在特定的时刻自动触发- 魔术方法的统一的特征,方法名被前后各两个下滑线包裹- 操作类 - `__init__`: 构造函数 - `__new__`: 对象实例化方法,此函数较特殊,一般不需要使用 - `__call__`: 对象当函数使用的时候触发 - `__ 阅读全文
posted @ 2019-02-21 00:34 chalee3 阅读(185) 评论(0) 推荐(0) 编辑
摘要: 二元逻辑运算符(BINARY LOGICAL OPERATORS)当输入特征为布尔值(0 或1)时,我们可以用一个单一的激活层可以作为二元逻辑运算符,为了表示不同的运算符,我们只需要选择不同的权重即可。下图的神经元(三个权重分别为-30,20,20)可以被视为作用同于逻辑与(AND): 下图的神经元 阅读全文
posted @ 2019-02-21 00:12 chalee3 阅读(245) 评论(0) 推荐(0) 编辑
摘要: 从本质上讲,神经网络能够通过学习得出其自身的一系列特征。在普通的逻辑回归中,我们被限制为使用数据中的原始特征𝑥1, 𝑥2, . . . , 𝑥𝑛,我们虽然可以使用一些二项式项来组合这些特征,但是我们仍然受到这些原始特征的限制。在神经网络中,原始特征只是输入层,在我们上面三层的神经网络例子中, 阅读全文
posted @ 2019-02-21 00:08 chalee3 阅读(393) 评论(0) 推荐(0) 编辑