随笔分类 - deep learning
摘要：上一节我们讲到自编码可以用于进行数据降维、数据压缩、对文字或图像提取主题并用于信息检索等。 根据所解决的问题不同 ，自编码可以有许多种不同形式的变形，例如： 去噪自编码器（DAE）、变分自编码器 （VAE）、收缩自编码器（CAE）和稀疏自编码器等 。下面我们先从去噪自编码讲起。 一 去噪自编码 要想
阅读全文
摘要：人们平时看一幅图片时，并不是像计算机那样逐个像素去读，一般是扫一眼物体，大致能得到需要的信息，如形状、颜色和特征等，那么怎么让机器也具有这项能力呢？这里就介绍一下自编码网络。 自编码网络是非监督学习领域中的一种，可以自动从无标注的数据中学习特征，是一种以重构输入信息为目标的神经网络，它可以给出比原始
阅读全文
摘要："受限波尔兹曼"这名字听起来就霸气，算法如其名，也挺难的。之所以难，是因为我们大部分人都没学过概率图模型，其实RBM是条件随机场的变体，所以如果学习这个算法，建议先把CRF给熟悉了，那么学起来就会轻松很多。受限玻尔兹曼机是由Geoff Hinton发明，是一种用于降维、分类、回归、协同过滤、特征学习
阅读全文
摘要：上一节内容已经详细介绍了AlexNet的网络结构。这节主要通过Tensorflow来实现AlexNet。 这里做测试我们使用的是CIFAR-10数据集介绍数据集，关于该数据集的具体信息可以通过以下链接查看:https://blog.csdn.net/davincil/article/details/
阅读全文
摘要：原文 ImageNet Classification with Deep ConvolutionalNeural Networks 下载地址：http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutiona
阅读全文
摘要：一 1x1卷积 在架构内容设计方面，其中一个比较有帮助的想法是使用 1×1 卷积。也许你会好奇，1×1 的卷积能做什么呢？不就是乘以数字么？听上去挺好笑的，结果并非如此，我们来具体看看。 过滤器为 1×1 ，这里是数字 2，输入一张 6×6×1 的图片，然后对它做卷积，过滤器大小为 1×1 ，结果相
阅读全文
摘要：一 实例探索 上一节我们介绍了卷积神经网络的基本构建，比如卷积层、池化层以及全连接层这些组件。事实上，过去几年计算机视觉研究中的大量研究都集中在如何把这些基本构件组合起来，形成有效的卷积神经网络。最直观的方式之一就是去看一些案例，就像很多人通过看别人的代码来学习编程一样，通过研究别人构建有效组件的案
阅读全文
摘要：一 三维卷积(Convolutions over Volumes) 前面已经讲解了对二维图像做卷积了，现在看看如何在三维立体上执行卷积。 我们从一个例子开始，假如说你不仅想检测灰度图像的特征，也想检测 RGB 彩色图像的特征。彩色图像如果是 6×6×3，这里的 3 指的是三个颜色通道，你可以把它想象
阅读全文
摘要：一 计算机视觉 把神经网络应用于计算机视觉时，有一个很大的挑战，就是数据的输入可能会非常大。举个例子，在过去的课程中，你们一般操作的都是 64×64 的小图片，实际上，它的数据量是 64×64×3，因为每张图片都有 3 个颜色通道。如果计算一下的话，可得知数据量为 12288，所以我们的特征向量。
阅读全文
摘要：[DeeplearningAI笔记]ML strategy_1_1正交化/单一数字评估指标 [DeeplearningAI笔记]ML strategy_1_2开发测试集评价指标 [DeeplearningAI笔记]ML strategy_1_3可避免误差与改善模型方法 [DeeplearningAI
阅读全文
摘要：一 批标准化 (batch normalization) 1.1 批标准化 Batch Normalization是Google2015年在论文：http://jmlr.org/proceedings/papers/v37/ioffe15.pdf中提出来的 训练深层的神经网络很复杂，因为训练时每一层
阅读全文
摘要：一 mini batch 1.1 小批量梯度下降 $$b \to b' = b - η\frac{∂C}{∂b}\approx b -
阅读全文
摘要：这部分内容是我在看Andreg Ng深度学习视频，然后又阅读了一些文章整理后记录下来的。视频连接：http://mooc.study.163.com/smartSpec/detail/1001319001.htm 一 训练集，校验集，测试集以及偏差和方差 1.1 训练集，校验集，以及测试集 训练集：
阅读全文
摘要：4.神经网络可以计算任何函数的可视化证明 神经网络拥有一定的普遍性，即包含一个隐藏层的神经网络可以被用来按照任意给定的精度来近似任何连续函数。 这一章使用一个实例来阐述神经网络是如何来近似一个一元函数，和一个二元函数，并扩展到一个多元的实值函数。 5.深度神经网络为何很难训练 这一章讲述了在深度网络
阅读全文
摘要：在这一节，我们对上一个程序(Network1.py)进行了优化 3.改进神经网络的学习方法 (1)交叉熵代价函数的引入 Network1程序采用了S型神经元，S型神经元存在一个问题，当输出层神经元的输出接近0，或者1的时候，sigmoid函数曲线相当平导致此时sigmoid函数的导数很小，当选择二次
阅读全文
摘要：最近花了半个多月把Mchiael Nielsen所写的Neural Networks and Deep Learning这本书看了一遍，受益匪浅。 该书英文原版地址地址：http://neuralnetworksanddeeplearning.com/ 回顾一下这本书主要讲的内容 1.使用神经网络识
阅读全文
摘要：本博文主要是较为直观的理解卷积神经网络的工作原理，明白卷积神经网络是怎么工作的(转载) 近日，Dishashree Gupta 在 Analyticsvidhya 上发表了一篇题为《Architecture of Convolutional Neural Networks (CNNs) demyst
阅读全文
摘要：假设一个三层的神经网络结构图如下： 对于一个单独的训练样本x其二次代价函数可以写成： C = 1/2|| y - aL||2 = 1/2∑j(yj - ajL)2 ajL=σ(zjL) zjl = ∑kωjklakl-1 + bjl 代价函数C是ajL的函数，ajL又是zjL的函数，zjL又是ωjk
阅读全文
摘要：一、windows下深度学习环境的搭建 1.1 安装Anaconda Anaconda是一个用于科学计算的python发行版，支持linux,mac,windows系统，提供了包管理和环境管理的功能，Anaconda是一个打包的集合，里面装好了conda，某个版本的python，众多的package
阅读全文
