摘要： 给定训练集$\{x^{(1)},...,x^{(m)}\}$，想把这些样本分成不同的子集，即聚类，$x^{(i)}\in\mathbb{R^{n}}$，但是这是个无标签数据集，也就是说我们再聚类的时候不能利用标签信息，所以这是一个无监督学习问题。k-means聚类算法的流程如下：1. 随机初始化聚类... 阅读全文

摘要： 在前面的讨论中，用到的激励函数都是sigmoid函数：以为最终的输出层所有输出的范围是[0,1],而我们在自编码学习的动机就是使得输出等于输入，于是所有输入必须调整到[0,1]范围内，但是问题来了，有些数据集输入范围容易调整，比如Minist，但是PCA白化处理的输入并不满足[0,1],所以需要找到... 阅读全文

摘要： 【KMP算法详解——适合初学KMP算法的朋友】2010-10-27 16:22:33标签：KMP 详解 初学休闲职场转自http://billhoo.blog.51cto.com/2337751/411486相信很多人（包括自己）初识KMP算法的时候始终是丈二和尚摸不着头脑，要么完全不知所云，要么看... 阅读全文

摘要： 今天在删除vector中的元素中遇到一个问题，这里记录下来以便以后查阅。预备知识：用到了erase（）函数，对于一个容器c来说，假设迭代器为p,那么执行：c.erase(p)之后就删除了容器c中p所指向的元素，并且返回一个迭代器，返回的迭代器指向刚才所删除元素后面的一个元素（这里是关键）！有了上面的... 阅读全文

摘要： 基于自动编码机（autoencoder）,这里网络的层次结构为一个输入层，两个隐层，后面再跟着一个softmax分类器:采用贪婪算法，首先把input和feature1看作一个自动编码机，训练出二者之间的参数，然后用feature1层的激活值作为输出，输入到feature2,即把feature1和f... 阅读全文

摘要： 第一步：下载pca_exercise.zip，里面包含有图像数据144*10000，每一列代表一幅12*12的图像块，首先随见展示200幅：第二步：0均值处理，确保数据均值为0或者接近0第三步：执行PCA，将原始数据映射到不同的特征向量方向上去第四步：验证上面PCA计算出来结果是否正确，若果正确的话... 阅读全文

摘要： 在很多情况下，我们要处理的数据的维度很高，需要提取主要的特征进行分析这就是PCA（主成分分析），白化是为了减少各个特征之间的冗余，因为在许多自然数据中，各个特征之间往往存在着一种关联，为了减少特征之间的关联，需要用到所谓的白化（whitening）.首先下载数据pcaData.rar，下面要对这里面... 阅读全文

摘要： 从10幅图像中采样出10000幅小图像块，每个小图像块大小是8*8,利用采样出的图像作为样本学习，利用LBFGS进行优化.下面是对10幅图像白化之后的结果：train.m%% CS294A/CS294W Programming Assignment Starter Code% Instructio... 阅读全文

摘要： 收集了一些Deep Learning的源代码。主要是Matlab和C++的，当然也有python的。放在这里，后续遇到新的会持续更新。下表没有的也欢迎大家提供，以便大家使用和交流。谢谢。最近一次更新：2013-9-22Theanohttp://deeplearning.net/software/th... 阅读全文

摘要： 到目前为止，我们使用的学习方法都是批量学习（batch learning）方式，即首先给定训练集学习出拟合假设函数中的参数，然后评价的效果的时候使用独立的测试集。本篇博文将会介绍一种在线学习（online learning）方式，即算法必须在学习的过程中不断地作出预测，而不是批量学习方式一样，学习过... 阅读全文