08 2019 档案
摘要：Convolutional Neural Network CNN 卷积神经网络 1. 为什么要用CNN？ CNN一般都是用来做图像识别的，当然其他的神经网络也可以做，也就是输入一张图的像素数组(pixel vector)，最后输出n个分类(dimension)。 但是为什么不用Fully Conne
阅读全文
摘要：1. Keras Demo2 前节的Keras Demo代码： Keras Demo中的结果不是很好，看一下在Training Data上的结果： 结果如下： 说明在Training Data上结果也不好，接下来开始调参： loss function 分类问题mse不适合，将loss mse fun
阅读全文
摘要：神经网络的表现 在Training Set上表现不好 可能陷入局部最优 在Testing Set上表现不好 Overfitting 过拟合 虽然在机器学习中，很容易通过SVM等方法在Training Set上得出好的结果，但DL不是，所以得先看Training Set上的表现。 要注意方法适用的阶段
阅读全文
摘要：3.1 configuration 3.2 寻找最优网络参数 代码示例： Keras 2.0 代码类似 x_train, y_train解释 小批量梯度下降，速度更快的原因是因为可以并行计算。 完整的Keras演示： 运行结果： Downloading data from https://s3.am
阅读全文
摘要：反向传播 反向传播主要用到是链式法则。 概念： 损失函数Loss Function 是定义在单个训练样本上的，也就是一个样本的误差。 代价函数Cost Function 是定义在整个训练集上的，也就是所有样本误差的总和的平均。有没有这个平均不会影响最后的参数求解结果。 总体损失函数Total Los
阅读全文
摘要：深度学习发展历史 ： 感知机和逻辑回归很像，只是没有$sigmoid$激活函数。 深度学习训练的三个步骤 ： Step1：神经网络（Neural network） Step2：模型评估（Goodness of function） Step3：选择最优函数（Pick best function） St
阅读全文
摘要：Logistic Regression 逻辑回归 逻辑回归与线性回归有很多相似的地方。后面会做对比，先将逻辑回归函数可视化一下。 与其所对应的损失函数如下，并将求max转换为min，并转换为求指数形式，便于计算。 最后得到的是两个伯努利分布（function output & target）的交叉熵
阅读全文
摘要：Classification: Probabilistic Generative Model 分类：概率生成模型 如果说对于分类问题用回归的方法硬解，也就是说，将其连续化。比如 $Class 1$ 对应的目标输出为 1, $Class 2$ 对应 1。 则在测试集上，结果更接近1的归为$Class
阅读全文
摘要：梯度下降 Gradient Descent 梯度下降是一种迭代法（与最小二乘法不同），目标是解决最优化问题：${\theta}^ = arg min_{\theta} L({\theta})$，其中${\theta}$是一个向量，梯度是偏微分。 为了让梯度下降达到更好的效果，有以下这些Tips： 1
阅读全文
摘要：这篇论文最早是一篇2016年1月16日发表在Sebastian Ruder的 "博客" 。本文主要工作是对这篇论文与李宏毅课程相关的核心部分进行翻译。 论文全文翻译： An overview of gradient descent optimization algorithms 梯度下降优化算法概述
阅读全文
浙公网安备 33010602011771号