看到一个不错的博客，存一下链接
Deep learning：五十一(CNN的反向求导及练习)
摘要: 前言： CNN作为DL中最成功的模型之一，有必要对其更进一步研究它。虽然在前面的博文Stacked CNN简单介绍中有大概介绍过CNN的使用，不过那是有个前提的：CNN中的参数必须已提前学习好。而本文的主要目的是介绍CNN参数在使用bp算法时该怎么训练，毕竟CNN中有卷积层和下采样层，虽然和MLP的bp算法本质上相同，但形式上还是有些区别的，很显然在完成CNN反向传播前了解bp算法是必须的。本文的实验部分是参考斯坦福UFLDL新教程UFLDL：Exercise: Convolutional Neural Network里面的内容。完成的是对MNIST数字的识别，采用有监督的CNN网络，当...阅读全文
Deep learning：五十(Deconvolution Network简单理解)
摘要: 深度网络结构是由多个单层网络叠加而成的，而常见的单层网络按照编码解码情况可以分为下面3类：既有encoder部分也有decoder部分：比如常见的RBM系列（由RBM可构成的DBM, DBN等），autoencoder系列(以及由其扩展的sparse autoencoder, denoise a...阅读全文
Deep learning：四十九(RNN-RBM简单理解)
摘要: 前言： 本文主要是bengio的deep learning tutorial教程主页中最后一个sample：rnn-rbm in polyphonic music. 即用RNN-RBM来model复调音乐，训练过程中采用的是midi格式的音频文件，接着用建好的model来产生复调音乐。对音乐建模的难点在与每首乐曲中帧间是高度时间相关的（这样样本的维度会很高），用普通的网络模型是不能搞定的（普通设计网络模型没有考虑时间维度，图模型中的HMM有这方面的能力），这种情况下可以采用RNN来处理，这里的RNN为recurrent neural network中文为循环神经网络，另外还有一种RNN为...阅读全文
Deep learning：四十八(Contractive AutoEncoder简单理解)
摘要: Contractive autoencoder是autoencoder的一个变种，其实就是在autoencoder上加入了一个规则项，它简称CAE（对应中文翻译为？）。通常情况下，对权值进行惩罚后的autoencoder数学表达形式为： 这是直接对W的值进行惩罚的，而今天要讲的CAE其数学表达式同样非常简单，如下： 其中的是隐含层输出值关于权重的雅克比矩阵，而 表示的是该雅克比矩阵的F范数的平方，即雅克比矩阵中每个元素求平方 然后求和，更具体的数学表达式为： 关于雅克比矩阵的介绍可参考雅克比矩阵&行列式——单纯的矩阵和算子，关于F范数可参考我前面的博文Sparse ...阅读全文
Deep learning：四十七(Stochastic Pooling简单理解)
摘要: CNN中卷积完后有个步骤叫pooling, 在ICLR2013上，作者Zeiler提出了另一种pooling手段(最常见的就是mean-pooling和max-pooling)，叫stochastic pooling，在他的文章还给出了效果稍差点的probability weighted pooling方法。 stochastic pooling方法非常简单，只需对feature map中的元素按照其概率值大小随机选择，即元素值大的被选中的概率也大。而不像max-pooling那样，永远只取那个最大值元素。 假设feature map中的pooling区域元素值如下： 3*3大小...阅读全文
Deep learning：四十六(DropConnect简单理解)
摘要: 和maxout(maxout简单理解)一样，DropConnect也是在ICML2013上发表的，同样也是为了提高Deep Network的泛化能力的，两者都号称是对Dropout(Dropout简单理解)的改进。 我们知道，Dropout是在训练过程中以一定概率1-p将隐含层节点的输出值清0，而用bp更新权值时，不再更新与该节点相连的权值。用公式描述如下： 其中v是n*1维的列向量，W是d*n维的矩阵，m是个d*1的01列向量，a(x)是一个满足a(0)=0的激发函数形式。这里的m和a(Wv)相乘是对应元素的相乘。 而DropConnect的思想也很简单，与Dropout不同的是...阅读全文
Deep learning：四十五(maxout简单理解)
摘要: maxout出现在ICML2013上，作者Goodfellow将maxout和dropout结合后，号称在MNIST, CIFAR-10, CIFAR-100, SVHN这4个数据上都取得了start-of-art的识别率。 从论文中可以看出，maxout其实一种激发函数形式。通常情况下，如果激发函数采用sigmoid函数的话，在前向传播过程中，隐含层节点的输出表达式为： 其中W一般是2维的，这里表示取出的是第i列，下标i前的省略号表示对应第i列中的所有行。但如果是maxout激发函数，则其隐含层节点的输出表达式为： 这里的W是3维的，尺寸为d*m*k，其中d表示输入层节...阅读全文
Deep learning：四十四(Pylearn2中的Quick-start例子)
摘要: 前言： 听说Pylearn2是个蛮适合搞深度学习的库，它建立在Theano之上，支持GPU(估计得以后工作才玩这个，现在木有这个硬件条件)运算，由DL大牛Bengio小组弄出来的，再加上Pylearn2里面已经集成了一部分常见的DL算法，本着很想读读这些算法的源码和细节这一想法，打算学习下Pylearn2的使用. 网上这方面的中文资料简直是太少了，虽然本博文没什么实质内容，但也写贴出来，说不定可以帮到一些初学者。 从Bengio的一篇paper: Pylearn2: a machine learning research library可以看出，Pylearn2主要是针对机器学习开发者...阅读全文
Deep learning：四十三(用Hessian Free方法训练Deep Network)
摘要: 目前，深度网络（Deep Nets）权值训练的主流方法还是梯度下降法（结合BP算法），当然在此之前可以用无监督的方法（比如说RBM，Autoencoder）来预训练参数的权值，而梯度下降法应用在深度网络中的一个缺点是权值的迭代变化值会很小，很容易收敛到的局部最优点；另一个缺点是梯度下降法不能很好的处理有病态的曲率（比如Rosenbrock函数）的误差函数。而本文中所介绍的Hessian Free方法（以下简称HF）可以不用预训练网络的权值，效果也还不错，且其适用范围更广（可以用于RNN等网络的学习），同时克服了上面梯度下降法的那2个缺点。HF的主要思想类似于牛顿迭代法，只是并没有显示的去计..阅读全文
Deep learning：四十二(Denoise Autoencoder简单理解)
摘要: 前言： 当采用无监督的方法分层预训练深度网络的权值时，为了学习到较鲁棒的特征，可以在网络的可视层（即数据的输入层）引入随机噪声，这种方法称为Denoise Autoencoder(简称dAE)，由Bengio在08年提出，见其文章Extracting and composing robust features with denoising autoencoders.使用dAE时，可以用被破坏的输入数据重构出原始的数据（指没被破坏的数据），所以它训练出来的特征会更鲁棒。本篇博文主要是根据Benigio的那篇文章简单介绍下dAE，然后通过2个简单的实验来说明实际编程中该怎样应用dAE。这2个...阅读全文
Deep learning：四十一(Dropout简单理解)
摘要: 前言 训练神经网络模型时，如果训练样本较少，为了防止模型过拟合，Dropout可以作为一种trikc供选择。Dropout是hintion最近2年提出的，源于其文章Improving neural networks by preventing co-adaptation of feature detectors.中文大意为：通过阻止特征检测器的共同作用来提高神经网络的性能。本篇博文就是按照这篇论文简单介绍下Dropout的思想，以及从用一个简单的例子来说明该如何使用dropout。 基础知识： Dropout是指在模型训练时随机让网络某些隐含层节点的权重不工作，不工作的那些节点可以暂...阅读全文
Deep learning：四十(龙星计划2013深度学习课程小总结)
摘要: 头脑一热，坐几十个小时的硬座北上去天津大学去听了门4天的深度学习课程，课程预先的计划内容见：http://cs.tju.edu.cn/web/courseIntro.html。上课老师为微软研究院的大牛——邓力，群（qq群介绍见：Deep learning高质量交流群）里面有人戏称邓力（拼音简称DL）老师是天生注定能够在DL（Deep learning）领域有所成就的，它的个人主页见：http://research.microsoft.com/en-us/people/deng/。这次我花费这么大的力气参加这个课程，是期望能达到3个目的的：一、把DL中一些常见基础算法弄明白，特别是跟能量模..阅读全文
Deep learning：三十九(ICA模型练习)
摘要: 前言： 本次主要是练习下ICA模型，关于ICA模型的理论知识可以参考前面的博文：Deep learning：三十三(ICA模型)。本次实验的内容和步骤可以是参考UFLDL上的教程：Exercise:Independent Component Analysis。本次实验完成的内容和前面的很多练习类似，即学习STL-10数据库的ICA特征。当然了，这些数据已经是以patches的形式给出，共2w个patch，8*8大小的。 实验基础： 步骤分为下面几步：设置网络的参数，其中的输入样本的维数为8*8*3=192。对输入的样本集进行白化，比如说ZCA白化，但是一定要将其中的参数eplison...阅读全文
Deep learning：三十八(Stacked CNN简单介绍)
摘要: 前言： 本节主要是来简单介绍下stacked CNN（深度卷积网络），起源于本人在构建SAE网络时的一点困惑：见Deep learning：三十六(关于构建深度卷积SAE网络的一点困惑)。因为有时候针对大图片进行recognition时，需要用到无监督学习的方法去pre-training（预训练）stacked CNN的每层网络，然后用BP算法对整个网络进行fine-tuning（微调），并且上一层的输出作为下一层的输入。这几句话说起来很简单，可是真的这么容易吗？对于初学者来说，在实际实现这个流程时并不是那么顺利，因为这其中要涉及到很多细节问题。这里不打算细讲deep statcked网...阅读全文
Deep learning：三十七(Deep learning中的优化方法)
摘要: 内容： 本文主要是参考论文：On optimization methods for deep learning，文章内容主要是笔记SGD（随机梯度下降），LBFGS（受限的BFGS），CG（共轭梯度法）三种常见优化算法的在deep learning体系中的性能。下面是一些读完的笔记。 SGD优点：实现简单，当训练样本足够多时优化速度非常快。 SGD缺点：需要人为调整很多参数，比如学习率，收敛准则等。另外，它是序列的方法，不利于GPU并行或分布式处理。 各种deep learning中常见方法（比如说Autoencoder，RBM，DBN，ICA，Sparse coding）的区别是...阅读全文
Deep learning：三十六(关于构建深度卷积SAE网络的一点困惑)
摘要: 前言： 最近一直在思考，如果我使用SCSAE（即stacked convolution sparse autoendoer）算法来训练一个的deep model的话，其网络的第二层开始后续所有网络层的训练数据从哪里来呢？其实如果在这个问题中，当我们的样本大小（指提供的最原始数据，比如大的图片集）和我们所训练第一个网络的输入维度是一样的话，那么第二层网络的输入即第一层网络的输出（后续的网络依次类推），但是这种情况下根本就不会涉及到convolution（一般有convolution的地方也会有pooling），所以不属于我想要讨论的SCSAE框架。后面根据自己对deep learning的...阅读全文
Deep learning：三十五(用NN实现数据降维练习)
摘要: 前言： 本文是针对上篇博文Deep learning：三十四(用NN实现数据的降维)的练习部分，也就是Hition大牛science文章reducing the dimensionality of data with neural networks的code部分，其code下载见：http:/...阅读全文
Deep learning：三十四(用NN实现数据的降维)
摘要: 数据降维的重要性就不必说了，而用NN（神经网络）来对数据进行大量的降维是从2006开始的，这起源于2006年science上的一篇文章：reducing the dimensionality of data with neural networks，作者就是鼎鼎有名的Hinton，这篇文章也标志着deep learning进入火热的时代。 今天花了点时间读了下这篇文章，下面是一点笔记： 多层感知机其实在上世纪已经被提出来了，但是为什么它没有得到广泛应用呢？其原因在于对多层非线性网络进行权值优化时很难得到全局的参数。因为一般使用数值优化算法（比如BP算法）时需要随机给网络赋一个值，而当这...阅读全文
Deep learning：三十三(ICA模型)
摘要: 基础知识： 在sparse coding（可参考Deep learning：二十六(Sparse coding简单理解)，Deep learning：二十九(Sparse coding练习)）模型中，学习到的基是超完备集的，也就是说基集中基的个数比数据的维数还要大，那么对一个数据而言，将其分解为基的线性组合时，这些基之间本身就是线性相关的。如果我们想要得到线性无关的基集，那么基集中元素的个数必须小于或等于样本的维数，本节所讲的ICA（Independent Component Analysis，独立成分分析）模型就可以完成这一要求，它学习到的基之间不仅保证线性无关，还保证了相互正交。本节...阅读全文
Deep learning：三十二(基础知识_3)
摘要: 前言： 本次主要是重新复习下Sparse autoencoder基础知识，并且加入点自己的理解。关于sparse autoencoder在前面的博文Deep learning：八(Sparse Autoencoder)中已有所介绍。 基础知识： 首先来看看为什么sparse autoencoder能够学习到输入数据的特征呢？当使用autoencoder时，隐含层节点的个数会比输入层小（一般情况下），而autoencoder又要能够重构输入数据，说明隐含层节点压缩了原始数据，既然这个压缩是有效的，则它就代表了输入数据（因为输入数据每个分量值并不是相互独立的）的一部分特征了。如果对隐含节...阅读全文
Deep learning：三十一(数据预处理练习)
摘要: 前言: 本节主要是来练习下在machine learning(不仅仅是deep learning)设计前的一些数据预处理步骤，关于数据预处理的一些基本要点在前面的博文Deep learning：三十(关于数据预处理的相关技巧)中已有所介绍，无非就是数据的归一化和数据的白化，而数据的归一化又分为尺度归一化，均值方差归一化等。数据的白化常见的也有PCA白化和ZCA白化。 实验基础： 本次实验所用的数据为ASL手势识别的数据，数据可以在网站http://personal.ee.surrey.ac.uk/Personal/N.Pugeault/index.php?section=Finger...阅读全文
Deep learning：三十(关于数据预处理的相关技巧)
摘要: 前言： 本文主要是介绍下在一个实际的机器学习系统中，该怎样对数据进行预处理。个人感觉数据预处理部分在整个系统设计中的工作量占了至少1/3。首先数据的采集就非常的费时费力，因为这些数据需要考虑各种因素，然后有时还需对数据进行繁琐的标注。当这些都有了后，就相当于我们有了元素的raw数据，然后就可以进行下面的数据预处理部分了。本文是参考的UFLDL网页教程：Data Preprocessing，在该网页的底部可以找到其对应的中文版。 基础知识： 一般来说，算法的好坏一定程度上和数据是否归一化，是否白化有关。但是在具体问题中，这些数据预处理中的参数其实还是很难准确得到的，当然了，除非你对对应...阅读全文
Deep learning：二十九(Sparse coding练习)
摘要: 前言 本节主要是练习下斯坦福DL网络教程UFLDL关于Sparse coding那一部分，具体的网页教程参考：Exercise:Sparse Coding。该实验的主要内容是从2w个自然图像的patches中分别采用sparse coding和拓扑的sparse coding方法进行学习，并观察学习到的这些图像基图像的特征。训练数据时自然图片IMAGE，在给出的教程网站上有。 实验基础 Sparse coding的主要是思想学习输入数据集”基数据”，一旦获得这些”基数据”，输入数据集中的每个数据都可以用这些”基数据”的线性组合表示，而稀疏性则体现在这些线性组合系数是系数的，即大部分的...阅读全文
Deep learning：二十八(使用BP算法思想求解Sparse coding中矩阵范数导数)
摘要: 前言： 关于Sparse coding目标函数的优化会涉及到矩阵求数问题，因为里面有好多矩阵范数的导数，加上自己对矩阵运算不熟悉，推导前面博文Deep learning：二十六(Sparse coding简单理解)中关于拓扑（非拓扑的要简单很多）Sparse coding代价函数对特征变量s导数的公式时，在草稿纸上推导了大半天也没有正确结果。该公式表达式为： 后面继续看UFLDL教程，发现这篇文章Deriving gradients using the backpropagation idea中已经给出了我想要的答案，作者是应用BP神经网络中求网络代价函数导数的思想，将上述代价函...阅读全文
Deep learning：二十七(Sparse coding中关于矩阵的范数求导)
摘要: 前言： 由于在sparse coding模型中求系统代价函数偏导数时需要用到矩阵的范数求导，这在其它模型中应该也很常见，比如说对一个矩阵内的元素值进行惩罚，使其值不能过大，则可以使用F范数（下面将介绍）约束，查阅了下矩阵范数求导的相关资料，本节就简单介绍下。 首先，网络上有大把的人把2范数和F=2时的范数混为一谈，或者说把矩阵p范数和诱导p范数混淆了（也有可能是因为各个版本书所定义的不同吧）。下面我还是以矩阵中权威教材the matrix cookbook和matlab内嵌函数所用的定义来解释。话说the matrix cookbook是一本非常不错的参考书，查找矩阵相关的公式就像查字...阅读全文
Deep learning：二十六(Sparse coding简单理解)
摘要: Sparse coding： 本节将简单介绍下sparse coding(稀疏编码)，因为sparse coding也是deep learning中一个重要的分支，同样能够提取出数据集很好的特征。本文的内容是参考斯坦福deep learning教程：Sparse Coding，Sparse Coding: Autoencoder Interpretation，对应的中文教程见稀疏编码，稀疏编码自编码表达。 在次之前，我们需要对凸优化有些了解，百度百科解释为：”凸优化“ 是指一种比较特殊的优化，是指目标函数为凸函数且由约束条件得到的定义域为凸集的优化问题，也就是说目标函数和约束条件都是”...阅读全文
Deep learning：二十五(Kmeans单层网络识别性能)
摘要: 前言： 本文是用kmeans方法来分析单层网络的性能，主要是用在CIFAR-10图像识别数据库上。关于单层网络的性能可以参考前面的博文：Deep learning：二十(无监督特征学习中关于单层网络的分析)。当然了，本文依旧是参考论文An Analysis of Single-Layer Networks in Unsupervised Feature Learning,Adam Coates, Honglak Lee, and Andrew Y. Ng. InAISTATS 14, 2011.只是重点在分析4个算法中的kemans算法（因为作者只提供关于kmeans的demo，呵呵，当...阅读全文
Deep learning：二十四(stacked autoencoder练习)
摘要: 前言： 本次是练习2个隐含层的网络的训练方法，每个网络层都是用的sparse autoencoder思想，利用两个隐含层的网络来提取出输入数据的特征。本次实验验要完成的任务是对MINST进行手写数字识别，实验内容及步骤参考网页教程Exercise: Implement deep networks for digit classification。当提取出手写数字图片的特征后，就用softmax进行对其进行分类。关于MINST的介绍可以参考网页：MNIST Dataset。本文的理论介绍也可以参考前面的博文：Deep learning：十六(deep networks)。 实验基础： ...阅读全文
Deep learning：二十三(Convolution和Pooling练习)
摘要: 前言： 本次实验是练习convolution和pooling的使用，更深一层的理解怎样对大的图片采用convolution得到每个特征的输出结果，然后采用pooling方法对这些结果进行计算，使之具有平移不变等特性。实验参考的是斯坦福网页教程：Exercise:Convolution and Pooling。也可以参考前面的博客：Deep learning：十七(Linear Decoders，Convolution和Pooling)，且本次试验是在前面博文Deep learning：二十二(linear decoder练习)的学习到的特征提取网络上进行的。 实验基础： 首先来看看整...阅读全文
Deep learning：二十二(linear decoder练习)
摘要: 前言： 本节是练习Linear decoder的应用，关于Linear decoder的相关知识介绍请参考：Deep learning：十七(Linear Decoders，Convolution和Pooling)，实验步骤参考Exercise: Implement deep networks for digit classification。本次实验是用linear decoder的sparse autoencoder来训练出stl-10数据库图片的patch特征。并且这次的训练权值是针对rgb图像块的。 基础知识： PCA Whitening是保证数据各维度的方差为1，而ZCA ...阅读全文
Deep learning：二十一(随机初始化在无监督特征学习中的作用)
摘要: 这又是Ng团队的一篇有趣的paper。Ng团队在上篇博客文章Deep learning：二十(无监督特征学习中关于单层网络的分析)中给出的结论是：网络中隐含节点的个数，convolution尺寸和移动步伐等参数比网络的层次比网络参数的学习算法本身还要重要，也就是说即使是使用单层的网络，只要隐含层的节点数够大，convolution尺寸和移动步伐较小，用简单的算法（比如kmeans算法）也可取得不亚于其它复杂的deep learning最优效果算法。而在本文On random weights and unsupervised feature learning中又提出了个新观点：即根本就无需通..阅读全文
Deep learning：二十(无监督特征学习中关于单层网络的分析)
摘要: 本文是读Ng团队的论文” An Analysis of Single-Layer Networks in Unsupervised Feature Learning”后的分析，主要是针对一个隐含层的网络结构进行分析的，分别对比了4种网络结构，k-means, sparse autoencoder, sparse rbm, gmm。最后作者得出了下面几个结论：1. 网络中隐含层神经元节点的个数，采集的密度（也就是convolution时的移动步伐）和感知区域大小对最终特征提取效果的影响很大，甚至比网络的层次数，deep learning学习算法本身还要重要。2. Whitening在预处理过..阅读全文
Deep learning：十九(RBM简单理解)
摘要: 这篇博客主要用来简单介绍下RBM网络，因为deep learning中的一个重要网络结构DBN就可以由RBM网络叠加而成，所以对RBM的理解有利于我们对DBN算法以及deep learning算法的进一步理解。Deep learning是从06年开始火得，得益于大牛Hinton的文章，不过这位大牛的文章比较晦涩难懂，公式太多，对于我这种菜鸟级别来说读懂它的paper压力太大。纵观大部分介绍RBM的paper，都会提到能量函数。因此有必要先了解下能量函数的概念。参考网页http://202.197.191.225:8080/30/text/chapter06/6_2t24.htm关于能量函数..阅读全文
Deep learning：十八(关于随机采样)
摘要: 由于最近在看deep learning中的RBMs网络，而RBMs中本身就有各种公式不好理解，再来几个Gibbs采样，就更令人头疼了。所以还是觉得先看下Gibbs采样的理论知识。经过调查发现Gibbs是随机采样中的一种。所以本节也主要是简单层次的理解下随机采用知识。参考的知识是博客随机模拟的基本思想和常用采样方法（sampling），该博文是网上找到的解释得最通俗的。其实学校各种带数学公式的知识时，最好有学者能用通俗易懂的语言介绍，这对入门学者来说极其重要。当然了，还参考了网页http://www.jdl.ac.cn/user/lyqing/StatLearning/StatlLearni..阅读全文
Deep learning：十七(Linear Decoders，Convolution和Pooling)
摘要: 本文主要是学习下Linear Decoder已经在大图片中经常采用的技术convolution和pooling，分别参考网页http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial中对应的章节部分。 Linear Decoders: 以三层的稀疏编码神经网络而言，在sparse autoencoder中的输出层满足下面的公式： 从公式中可以看出，a3的输出值是f函数的输出，而在普通的sparse autoencoder中f函数一般为sigmoid函数，所以其输出值的范围为(0,1)，所以可以知道a3的输出值范围也...阅读全文
Deep learning：十六(deep networks)
摘要: 本节参考的是网页http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial中关于Building Deep Networks for Classification一节的介绍。分下面2大部分内容： 1. 从self-taught到deep networks： 从前面的关于self-taught learning介绍（Deep learning：十五(Self-Taught Learning练习)）可以看到，该ML方法在特征提取方面是完全用的无监督方法，本次要讲的就是在上面的基础上再用有监督的方法继续对网络的参数进行微调，这...阅读全文
Deep learning：十五(Self-Taught Learning练习)
摘要: 前言： 本次实验主要是练习soft- taught learning的实现。参考的资料为网页：http://deeplearning.stanford.edu/wiki/index.php/Exercise:Self-Taught_Learning。Soft-taught leaning是用的无监督学习来学习到特征提取的参数，然后用有监督学习来训练分类器。这里分别是用的sparse autoencoder和softmax regression。实验的数据依旧是手写数字数据库MNIST Dataset. 实验基础： 从前面的知识可以知道，sparse autoencoder的输出应该是...阅读全文
Deep learning：十四(Softmax Regression练习)
摘要: 前言： 这篇文章主要是用来练习softmax regression在多分类器中的应用，关于该部分的理论知识已经在前面的博文中Deep learning：十三(Softmax Regression)有所介绍。本次的实验内容是参考网页：http://deeplearning.stanford.edu/wiki/index.php/Exercise:Softmax_Regression。主要完成的是手写数字识别，采用的是MNIST手写数字数据库，其中训练样本有6万个，测试样本有1万个，且数字是0~9这10个。每个样本是一张小图片，大小为28*28的。 实验环境：matlab2012a 实验...阅读全文
Deep learning：十三(Softmax Regression)
摘要: 在前面的logistic regression博文Deep learning：四(logistic regression练习) 中，我们知道logistic regression很适合做一些非线性方面的分类问题，不过它只适合处理二分类的问题，且在给出分类结果时还会给出结果的概率。那么如果需要用类似的方法（这里类似的方法指的是输出分类结果并且给出概率值）来处理多分类问题的话该怎么扩展呢？本次要讲的就是对logstic regression扩展的一种多分类器，softmax regression。参考的内容为网页：http://deeplearning.stanford.edu/wiki/in..阅读全文
Deep learning：十二(PCA和whitening在二自然图像中的练习)
摘要: 前言: 现在来用PCA，PCA Whitening对自然图像进行处理。这些理论知识参考前面的博文：Deep learning：十(PCA和whitening)。而本次试验的数据，步骤，要求等参考网页：http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial 。实验数据是从自然图像中随机选取10000个12*12的patch，然后对这些patch进行99%的方差保留的PCA计算，最后对这些patch做PCA Whitening和ZCA Whitening，并进行比较。 实验环境：matlab2012a 实验过程及结果：...阅读全文
Deep learning：十一(PCA和whitening在二维数据中的练习)
摘要: 前言： 这节主要是练习下PCA，PCA Whitening以及ZCA Whitening在2D数据上的使用，2D的数据集是45个数据点，每个数据点是2维的。参考的资料是：Exercise:PCA in 2D。结合前面的博文Deep learning：十(PCA和whitening)理论知识，来进一步理解PCA和Whitening的作用。 matlab某些函数： scatter: scatter(X,Y,,,’’); – 点的大小控制，设为和X，Y同长度一维向量，则值决定点的大小；设为常数或缺省，则所有点大小统一。 – 点的颜色控制，设为和X，Y同长度一维向量，则色彩由值大小...阅读全文
Deep learning：十(PCA和whitening)
摘要: PCA： PCA的具有2个功能,一是维数约简（可以加快算法的训练速度，减小内存消耗等），一是数据的可视化。 PCA并不是线性回归，因为线性回归是保证得到的函数是y值方面误差最小，而PCA是保证得到的函数到所降的维度上的误差最小。另外线性回归是通过x值来预测y值，而PCA中是将所有的x样本都同等对待。 在使用PCA前需要对数据进行预处理，首先是均值化，即对每个特征维，都减掉该维的平均值，然后就是将不同维的数据范围归一化到同一范围，方法一般都是除以最大值。但是比较奇怪的是，在对自然图像进行均值处理时并不是不是减去该维的平均值，而是减去这张图片本身的平均值。因为PCA的预处理是按照不同应用...阅读全文
Deep learning：九(Sparse Autoencoder练习)
摘要: 前言： 现在来进入sparse autoencoder的一个实例练习，参考Ng的网页教程：Exercise:Sparse Autoencoder。这个例子所要实现的内容大概如下：从给定的很多张自然图片中截取出大小为8*8的小patches图片共10000张，现在需要用sparse autoencoder的方法训练出一个隐含层网络所学习到的特征。该网络共有3层，输入层是64个节点，隐含层是25个节点，输出层当然也是64个节点了。 实验基础： 其实实现该功能的主要步骤还是需要计算出网络的损失函数以及其偏导数，具体的公式可以参考前面的博文Deep learning：八(Sparse Aut...阅读全文
Deep learning：八(Sparse Autoencoder)
摘要: 前言： 这节课来学习下Deep learning领域比较出名的一类算法——sparse autoencoder，即稀疏模式的自动编码。我们知道，deep learning也叫做unsupervised learning，所以这里的sparse autoencoder也应是无监督的。按照前面的博文：Deep learning：一(基础知识_1)，Deep learning：七(基础知识_2)所讲，如果是有监督的学习的话，在神经网络中，我们只需要确定神经网络的结构就可以求出损失函数的表达式了（当然，该表达式需对网络的参数进行”惩罚”，以便使每个参数不要太大）,同时也能够求出损失函数偏导函数的...阅读全文
Deep learning：七(基础知识_2)
摘要: 前面的文章已经介绍过了2种经典的机器学习算法：线性回归和logistic回归，并且在后面的练习中也能够感觉到这2种方法在一些问题的求解中能够取得很好的效果。现在开始来看看另一种机器学习算法——神经网络。线性回归或者logistic回归问题理论上不是可以解决所有的回归和分类问题么，那么为什么还有其它各种各样的机器学习算法呢？比如这里马上要讲的神经网络算法。其实原因很简单，在前面的一系列博文练习中可以发现，那些样本点的输入特征维数都非常小（比如说2到3维），在使用logistic回归求解时，需要把原始样本特征重新映射到高维空间中，如果特征是3维，且指数最高为3时，得到的系数最高维数应该是2...阅读全文
Deep learning：六(regularized logistic回归练习)
摘要: 前言： 在上一讲Deep learning：五(regularized线性回归练习)中已经介绍了regularization项在线性回归问题中的应用，这节主要是练习regularization项在logistic回归中的应用，并使用牛顿法来求解模型的参数。参考的网页资料为：http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=DeepLearning&doc=exercises/ex5/ex5.html。要解决的问题是，给出了具有2个特征的一堆训练数据集，从该数据的分布可以看出它们并不是非常线性可分的，阅读全文
Deep learning：五(regularized线性回归练习)
摘要: 前言： 本节主要是练习regularization项的使用原则。因为在机器学习的一些模型中，如果模型的参数太多，而训练样本又太少的话，这样训练出来的模型很容易产生过拟合现象。因此在模型的损失函数中，需要对模型的参数进行“惩罚”，这样的话这些参数就不会太大，而越小的参数说明模型越简单，越简单的模型则越不容易产生过拟合现象。本文参考的资料参考网页：http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=DeepLearning&doc=exercises/ex5/ex5.html。主要是给定7个训练样本点，需阅读全文
Deep learning：四(logistic regression练习)
摘要: 前言： 本节来练习下logistic regression相关内容，参考的资料为网页：http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=DeepLearning&doc=exercises/ex4/ex4.html。这里给出的训练样本的特征为80个学生的两门功课的分数，样本值为对应的同学是否允许被上大学，如果是允许的话则用’1’表示，否则不允许就用’0’表示，这是一个典型的二分类问题。在此问题中，给出的80个样本中正负样本各占40个。而这节采用的是logistic regression来求解，该求解阅读全文
Deep learning：三(Multivariance Linear Regression练习)
摘要: 前言: 本文主要是来练习多变量线性回归问题(其实本文也就3个变量)，参考资料见网页：http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=DeepLearning&doc=exercises/ex3/ex3.html.其实在上一篇博文Deep learning：二(linear regression练习)中已经简单介绍过一元线性回归问题的求解，但是那个时候用梯度下降法求解时，给出的学习率是固定的0.7.而本次实验中学习率需要自己来选择，因此我们应该从小到大（比如从0.001到10）来选择，通过观察损失值阅读全文
Deep learning：二(linear regression练习)
摘要: 前言 本文是多元线性回归的练习，这里练习的是最简单的二元线性回归，参考斯坦福大学的教学网http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=DeepLearning&doc=exercises/ex2/ex2.html。本题给出的是50个数据样本点，其中x为这50个小朋友到的年龄，年龄为2岁到8岁，年龄可有小数形式呈现。Y为这50个小朋友对应的身高，当然也是小数形式表示的。现在的问题是要根据这50个训练样本，估计出3.5岁和7岁时小孩子的身高。通过画出训练样本点的分布凭直觉可以发现这是一个典型的线性回阅读全文
Deep learning：一(基础知识_1)
摘要: 前言: 最近打算稍微系统的学习下deep learing的一些理论知识，打算采用Andrew Ng的网页教程UFLDL Tutorial，据说这个教程写得浅显易懂，也不太长。不过在这这之前还是复习下machine learning的基础知识，见网页：http://openclassroom.stanford.edu/MainFolder/CoursePage.php?course=DeepLearning。内容其实很短，每小节就那么几分钟，且讲得非常棒。 教程中的一些术语: Model representation: 其实就是指学习到的函数的表达形式，可以用矩阵表示。 Vecto...阅读全文
