Providence

摘要： 假设有一个二部图，每一层的节点之间没有连接，一层是可视层，即输入数据是（v）,一层是隐藏层（h），如果假设所有的节点都是随机二值变量节点（只能取0或者1值）同时假设全概率分布满足Boltzmann 分布，我们称这个模型是Restricted BoltzmannMachine (RBM)。首先，这个模型因为是二部图，所以在已知v的情况下，所有的隐藏节点之间是条件独立的（因为节点之间不存在连接），即p(h|v)=p(h1|v)…p(hn|v)。同理，在已知隐藏层h的情况下，所有的可视节点都是条件独立的。同时又由于所有的v和h满足Boltzmann 分布，因此，当输入v的时候，通过p(h|v) 可以 阅读全文

摘要： 卷积神经网络的网络结构卷积神经网络是一个多层的神经网络，每层由多个二维平面组成，而每个平面由多个独立神经元组成。图：卷积神经网络的概念示范：输入图像通过和三个可训练的滤波器和可加偏置进行卷积，滤波过程如上图，卷积后在C1层产生三个特征映射图，然后特征映射图中每组的四个像素再进行求和，加权值，加偏置，通过一个Sigmoid函数得到三个S2层的特征映射图。这些映射图再进行滤波得到C3层。这个层级结构再和S2一样产生S4。最终，这些像素被光栅化，并连接成一个向量输入到传统的神经网络，得到输出。一般地，C层为特征提取层，每个神经元的输入与前一层的局部感受野相连，并提取该局部的特征，一旦该局部特征被提取 阅读全文

摘要： 细胞型数据类型（cell）使不同类型和不同维数的数组可以共存，细胞型数组实际上可以认为是一种以任意形式的数组为分量的多维数组。1、细胞型数据的定义1）直接赋值定义：细胞型变量在定义时需要使用大括号，元素用都好隔开 例： B = {1:4，A，‘abcd’}2）使用cell函数，预先为细胞型变量定义空间 例： A = cell（m，n） 定义一个空的m行n列的cell类型2、细胞型数据的访问 对细胞型变量元素的引用应当采用大括号作为下标的标示，用小括号作为下标标示时，将只显示该元素的压缩形式。比如：A = {1:4,2.5，‘abc’}；>> AA = [1x4 double] [2 阅读全文

摘要： MATLAB语言没有系统的断言函数，但有错误报告函数 error 和 warning。由于要求对参数的保护，需要对输入参数或处理过程中的一些状态进行判断，判断程序能否/是否需要继续执行。在matlab中经常使用到这样的代码：if c=0, ['c = ' num2str(c) '=0）断言函数assert：在程序中确保某些条件成立，否则调用系统error函数终止运行。1、使用示例： assert(1==1) assert(1+1==2, '1+1~=2') assert(x>=low_bounce && x1 error([' 阅读全文

摘要： squeeze的作用是移除单一维。如果矩阵哪一个维数是1，B=squeeze(A)就将这个维数移除。考虑2-by-1-by-3 数组Y = rand(2,1,3). 这个数组有单一维 —就是每页仅仅一列：B=squeeze(A)返回和矩阵A相同元素但所有单一维都移除的矩阵B，单一维是满足size(A,dim)=1的维。squeeze命令对二维数组是不起作用的;如果A是一行或列向量或一标量(1*1)值，则B=A。matlab示例：Y =Y(:,:,1) = Y(:,:,2) =0.5194 0.03460.8310 0.0535Y(:,:,3) =0.5297 matlab0.6711命令Z = 阅读全文

摘要： 任务：在这个问题中，你将实现稀疏自编码器算法，并且展示它怎么发现边缘是自然图像的一个好的表示。 在文件sparseae_exercise.zip中，我们已经提供了一些Matlab中的初始代码，你应该将你的代码写在文件中的”YOUR CODE HERE“下面。你必须完成以下文件：samplesIMAGES.m, sparseAutoencoderCost.m,computeNumericalGradient.m.在train.m中的开始代码展示了这些函数是怎样被使用的。 明确地，在这个练习中你将实现一个稀疏自编码器，用8×8的图像块，使用L-BFGS最优化算法训练的。第一步：产生训练集 阅读全文

摘要： randi Pseudorandom integers from a uniform discrete distribution.来自一个均匀离散分布的伪随机整数 R = randi(IMAX,N) returns an N-by-N matrix containing pseudorand... 阅读全文

摘要： 训练完（稀疏）自编码器，我们还想把这自编码器学习到的函数可视化出来，好弄明白它到底学到了什么。我们以在10×10图像（即n=100）上训练自编码器为例。在该自编码器中，每个隐藏单元i对如下关于输入的函数进行计算：我们将要可视化的函数，就是上面这个以2D图像为输入，并由隐藏单元i计算出来的函数。它是依... 阅读全文

摘要： 目前为止，我们已经讨论神经网络在有监督学习中的应用。在有监督学习中，训练样本是有类别标签的。现在假设我们只有一个没有带标签的训练样本集合 ，其中 。自编码神经网络是一种无监督学习算法，它使用了反向传播算法，并让目标值等于输入值，比如 。下图是一个自编码神经网络的示例。 自编码神经网络尝试学习一... 阅读全文

摘要： 众所周知，反向传播算法很难调试得到正确结果，尤其是当程序存在很多难于发现的bug时。距离来说，索引的缺位错误（off-by-one error）会导致只有部分层的权重得到训练，再比如忘记计算偏置项。这些错误会使你得到一个看似十分合理的结果（但实际上比正确代码的结果要差）。因此，但从计算结果上来看，我... 阅读全文