10 2014 档案

高斯混合和EM算法
摘要：首先介绍高斯混合模型：高斯混合模型是指具有以下形式的概率分布模型：一般其他分布的混合模型用相应的概率密度代替（1）式中的高斯分布密度即可。给定训练集，我们希望构建该数据联合分布这里，其中是概率，并且，用表示可能的取值。因此，我们构建的模型就是假设是由生成，而是从中随机选择出来的，那么就服从个依赖于的... 阅读全文
posted @ 2014-10-30 20:17 90Zeng 阅读(3542) 评论(3) 推荐(0)
K-means聚类算法原理和C++实现
摘要：给定训练集$\{x^{(1)},...,x^{(m)}\}$，想把这些样本分成不同的子集，即聚类，$x^{(i)}\in\mathbb{R^{n}}$，但是这是个无标签数据集，也就是说我们再聚类的时候不能利用标签信息，所以这是一个无监督学习问题。k-means聚类算法的流程如下：1. 随机初始化聚类... 阅读全文
posted @ 2014-10-28 18:31 90Zeng 阅读(19246) 评论(2) 推荐(5)
深度学习实现彩色图像特征提取：线性解码器
摘要：在前面的讨论中，用到的激励函数都是sigmoid函数：以为最终的输出层所有输出的范围是[0,1],而我们在自编码学习的动机就是使得输出等于输入，于是所有输入必须调整到[0,1]范围内，但是问题来了，有些数据集输入范围容易调整，比如Minist，但是PCA白化处理的输入并不满足[0,1],所以需要找到... 阅读全文
posted @ 2014-10-26 12:37 90Zeng 阅读(3964) 评论(0) 推荐(0)
C++之vector中元素删除
摘要：今天在删除vector中的元素中遇到一个问题，这里记录下来以便以后查阅。预备知识：用到了erase（）函数，对于一个容器c来说，假设迭代器为p,那么执行：c.erase(p)之后就删除了容器c中p所指向的元素，并且返回一个迭代器，返回的迭代器指向刚才所删除元素后面的一个元素（这里是关键）！有了上面的... 阅读全文
posted @ 2014-10-24 23:34 90Zeng 阅读(26377) 评论(5) 推荐(1)
深度网络实现手写体识别
摘要：基于自动编码机（autoencoder）,这里网络的层次结构为一个输入层，两个隐层，后面再跟着一个softmax分类器:采用贪婪算法，首先把input和feature1看作一个自动编码机，训练出二者之间的参数，然后用feature1层的激活值作为输出，输入到feature2,即把feature1和f... 阅读全文
posted @ 2014-10-23 10:45 90Zeng 阅读(5655) 评论(0) 推荐(3)
PCA和白化练习之处理图像
摘要：第一步：下载pca_exercise.zip，里面包含有图像数据144*10000，每一列代表一幅12*12的图像块，首先随见展示200幅：第二步：0均值处理，确保数据均值为0或者接近0第三步：执行PCA，将原始数据映射到不同的特征向量方向上去第四步：验证上面PCA计算出来结果是否正确，若果正确的话... 阅读全文
posted @ 2014-10-20 17:38 90Zeng 阅读(6170) 评论(2) 推荐(0)
PCA和白化练习之处理二维数据
摘要：在很多情况下，我们要处理的数据的维度很高，需要提取主要的特征进行分析这就是PCA（主成分分析），白化是为了减少各个特征之间的冗余，因为在许多自然数据中，各个特征之间往往存在着一种关联，为了减少特征之间的关联，需要用到所谓的白化（whitening）.首先下载数据pcaData.rar，下面要对这里面... 阅读全文
posted @ 2014-10-20 15:10 90Zeng 阅读(3914) 评论(2) 推荐(0)
稀疏自动编码之练习
摘要：从10幅图像中采样出10000幅小图像块，每个小图像块大小是8*8,利用采样出的图像作为样本学习，利用LBFGS进行优化.下面是对10幅图像白化之后的结果：train.m%% CS294A/CS294W Programming Assignment Starter Code% Instructio... 阅读全文
posted @ 2014-10-17 16:51 90Zeng 阅读(1945) 评论(1) 推荐(0)
学习理论之感知器与最大间隔分类器
摘要：到目前为止，我们使用的学习方法都是批量学习（batch learning）方式，即首先给定训练集学习出拟合假设函数中的参数，然后评价的效果的时候使用独立的测试集。本篇博文将会介绍一种在线学习（online learning）方式，即算法必须在学习的过程中不断地作出预测，而不是批量学习方式一样，学习过... 阅读全文
posted @ 2014-10-16 10:45 90Zeng 阅读(1433) 评论(0) 推荐(1)
学习理论之正则化（Regularization）与模型选择
摘要：一、引言对于一个学习问题，可以假设很多不同的模型，我们要做的是根据某一标准选出最好的模型。例如，在多项式回归中，对于我们的假设模型，我们最要紧的是决定 k 到底取多少合适，能不能有一种方法可以自动选择出可以在偏差和方差（关于偏差和方差的理论，参考：学习理论）之间做出均衡的模型？为了具体讨论，本文中假... 阅读全文
posted @ 2014-10-15 20:37 90Zeng 阅读(2647) 评论(0) 推荐(0)
稀疏自动编码之可视化自动编码器
摘要：对于训练出的一个稀疏自动编码器，现在想看看学习出的函数到底是什么样子。对于训练一个的图像，.计算每一个隐层节点 的输出值：我们要可视化的函数，就是这个以一副2D图像为输入，以为参数（忽略偏置项），由隐层节点计算出来的函数。特别是，我们把看作是输入的非线性特征。我们很想知道：什么样的的图像能使得成为最... 阅读全文
posted @ 2014-10-14 15:34 90Zeng 阅读(1872) 评论(0) 推荐(0)
稀疏自动编码之自动编码器和稀疏性
摘要：到目前为止，已经叙述了神经网络的监督学习，即学习的样本都是有标签的。现在假设我们有一个没有标签的训练集，其中. 自动编码器就是一个运用了反向传播进行无监督学习的神经网络，学习的目的就是为了让输出值和输入值相等，即.下面就是一个自动编码器：自动编码器试图学习一个函数. 换句话说，它试图逼近一个等式函数... 阅读全文
posted @ 2014-10-14 10:55 90Zeng 阅读(4569) 评论(0) 推荐(0)
稀疏自动编码之梯度检验
摘要：众所周知，反向传播算法很难调试和得到正确结果，特别是在执行过程中存在许多细小难以察觉的错误。这里介绍一种方法来确定代码中导数的计算是否正确。使用这里所述求导检验方法，可以帮助提升写正确代码的信心。假设我们想最小化关于的函数 . 对于这个例子，假设，所以. 在一维空间，梯度下降的一次迭代公式如下：假设... 阅读全文
posted @ 2014-10-13 10:10 90Zeng 阅读(1138) 评论(0) 推荐(0)
稀疏自动编码之反向传播算法（BP）
摘要：假设给定m个训练样本的训练集，用梯度下降法训练一个神经网络，对于单个训练样本(x,y)，定义该样本的损失函数：那么整个训练集的损失函数定义如下：第一项是所有样本的方差的均值。第二项是一个归一化项（也叫权重衰减项），该项是为了减少权连接权重的更新速度，防止过拟合。我们的目标是最小化关于W和 b 的函数... 阅读全文
posted @ 2014-10-12 23:34 90Zeng 阅读(3405) 评论(0) 推荐(0)
学习理论之偏差与方差
摘要：1. 偏差和方差平衡在线性回归中，对于同一个数据集，可以拟合出简单的线性模型或者较为复杂一些的多项式例如：图中的训练样本是一致的，但是可以拟合出不同的模型。最右边图中拟合出的5阶多项式，并不见得就是一个好模型，虽然该模型能够准确预测出样本点的y值,因为这种模型过分拟合了训练样本（过拟合），当对非训练... 阅读全文
posted @ 2014-10-11 23:39 90Zeng 阅读(2438) 评论(0) 推荐(0)
稀疏自动编码之神经网络
摘要：考虑一个监督学习问题，现在有一些带标签的训练样本(x(i),y(i)).神经网络就是定义一个复杂且非线性的假设hW,b(x)，其中W,b是需要拟合的参数.下面是一个最简单的神经网络结构，只含有一个神经元，后面就用下图的形式代表一个神经元：把神经元看作是一个计算单元，左边的x1,x2,x3(和 截距+... 阅读全文
posted @ 2014-10-11 10:26 90Zeng 阅读(3611) 评论(0) 推荐(1)
SVM
摘要：目录：1.间隔2.符号标记3.函数间隔和几何间隔（Functional and geometric margins）4.最佳间隔分类器5.拉格朗日对偶（Lagrange duality）6.最佳间隔分类器（续4）7.核学习8.正则化和不可分样例(Regularization and the non-... 阅读全文
posted @ 2014-10-08 22:07 90Zeng 阅读(2172) 评论(0) 推荐(1)
朴素贝叶斯（Naive Bayes）
摘要：考虑用机器学习建立一个邮件过滤系统，来将邮件分成垃圾邮件和非垃圾邮件。首先我们建立一个词典，里面包含了邮件中所有的不重复单词。我们用长度为词典中单词数目的特征向量来表示一封邮件。如下所示：表示一封邮件，如果该邮件包含有词典中的第i个单词，那么，否则.为了建模，作一个很强的假设，假设词典中的每个单词是... 阅读全文
posted @ 2014-10-07 23:41 90Zeng 阅读(2803) 评论(0) 推荐(0)
生成式学习算法
摘要：考虑一个分类问题：根据一个动物的特征来区分该动物是大象（y=1）还是狗（y = 0）.利用逻辑回归找到一条直线，即分界线，将训练集中的大象和狗分开，当给定一个新的动物特征时，检查该动物位于分界线的哪一边，然后做出判断是大象，还是狗，就是对p(y|x；θ)进行建模。这里我们来看另一种不同的思路,首先根... 阅读全文
posted @ 2014-10-07 21:48 90Zeng 阅读(3615) 评论(6) 推荐(0)
Softmax 回归原理介绍
摘要：考虑一个多分类问题，即预测变量y可以取k个离散值中的任何一个.比如一个邮件分类系统将邮件分为私人邮件，工作邮件和垃圾邮件。由于y仍然是一个离散值，只是相对于二分类的逻辑回归多了一些类别。下面将根据多项式分布建模。考虑将样本共有k类，每一类的概率分别为,由于，所以通常我们只需要k-1个参数即可，为了推... 阅读全文
posted @ 2014-10-07 15:41 90Zeng 阅读(2877) 评论(0) 推荐(0)
逻辑回归实战
摘要：开始，首先下载数据ex4Data.zip假设该数据集代表着一所高中学生中40名被大学录取，而另外40名没有被大学录取。每一个训练样例(x(i),y(i))包含一个学生的两科标准考试成绩以及是否被录取的标签。现在需要建立一个分类模型，要求根据学生的两科考试成绩，来判断学生被录取的概率。画出数据：x =... 阅读全文
posted @ 2014-10-07 11:52 90Zeng 阅读(1343) 评论(0) 推荐(0)
牛顿方法
摘要：在逻辑回归之问题建模分析中我们提到最大化参数θ的最大化似然函数可以用梯度下降法，对参数进行更新直至上面的对数似然函数收敛。下面引入另一种方法：牛顿方法。开始，首先我们考虑如何找到一个函数的零点。也就是我们有一个函数：，我们希望找到一个值θ，使得.我们首先随机取某一点(x,f(x))，那么f(x)在该... 阅读全文
posted @ 2014-10-07 10:34 90Zeng 阅读(924) 评论(0) 推荐(0)
逻辑回归之问题建模分析
摘要：首先，我们引入分类问题，其实分类问题和回归问题很相似，只是分类问题中我们要预测的y值是有限数量的离散值，而不是回归问题中的连续值。为了说明，我们现在只讨论二分类问题，也就是说y只能取0和1两种值。对于这种二分类问题，当然也可以用线性回归去学习，然后根据给的的x预测出y,只是当预测出的y大于1或者小于... 阅读全文
posted @ 2014-10-06 22:40 90Zeng 阅读(1195) 评论(1) 推荐(0)
线性回归之问题建模
摘要：考虑下图所示数据集：这是一个关于居住面积，卧室数量和房屋价格的数据集。对于这个数据集，x就是二维的向量，因为每一个训练样本包含两个属性（居住面积，卧室数量）。为了进行监督学习，必须提出一个合理的假设或函数，假如我们用线性函数$h_{\theta}(x)=\theta_{0}+\theta_{1}x_... 阅读全文
posted @ 2014-10-06 20:31 90Zeng 阅读(960) 评论(0) 推荐(0)
线性回归之实践
摘要：对于数据ex2Data.zip，学习出一个函数h(x)，使之能较好地预测出y的值。其中x表示孩子的年龄，y表示孩子的身高。首先画出原始数据在坐标轴中的分布情况：x = load('ex2x.dat'); y = load('ex2y.dat');m = length(y); %计算出训练样本的个数%... 阅读全文
posted @ 2014-10-06 12:07 90Zeng 阅读(951) 评论(2) 推荐(1)
线性回归(linear regression)之监督学习
摘要：假设有以下面积和房屋价格的数据集：可以在坐标中画出数据的情况：就是基于这样一个数据集，假定给出一个房屋的面积，如何预测出它的价格？很显然就是我们只需建立一个关于房屋面积的函数，输出就是房屋的价格。所以引出监督学习的概念：给定训练集X，学习出一个函数h:X→Y,使得函数h(x)能够较好地对于Y做出预测... 阅读全文
posted @ 2014-10-06 10:31 90Zeng 阅读(456) 评论(0) 推荐(0)