04 2016 档案
摘要：首先贴出几个有用的博客，都是关于机器学习的特征问题： 这篇博客讲解机器学习处理实际问题的完整流程 http://tech.meituan.com/mt-mlinaction-how-to-ml.html 这篇博客是对以上博客的一个概括 2. http://breezedeus.github.io/2
阅读全文
摘要：本文主要内容是 CNN 的 BP 算法，看此文章前请保证对CNN有初步认识，可参考 Neurons Networks convolutional neural network（cnn）。 网络表示 CNN相对于传统的全连接DNN来说增加了卷积层与池化层，典型的卷积神经网络中（比如LeNet-5 ），
阅读全文
摘要：之前所讲的图像处理都是小 patchs ，比如28*28或者36*36之类，考虑如下情形，对于一副1000*1000的图像，即106，当隐层也有106节点时，那么W(1)的数量将达到1012级别，为了减少参数规模，加快训练速度，CNN应运而生。CNN就像辟邪剑谱一样，正常人练得很挫，一旦自宫后，就变
阅读全文
摘要：Sparse AutoEncoder是一个三层结构的网络，分别为输入输出与隐层，前边自编码器的描述可知，神经网络中的神经元都采用相同的激励函数，Linear Decoders 修改了自编码器的定义，对输出层与隐层采用了不用的激励函数，所以 Linear Decoder 得到的模型更容易应用，而且对模
阅读全文
摘要：Hintion老爷子在06年的science上的论文里阐述了 RBMs 可以堆叠起来并且通过逐层贪婪的方式来训练，这种网络被称作Deep Belife Networks(DBN)，DBN是一种可以学习训练数据的高层特征表示的网络，DBN是一种生成模型，可见变量 与 个隐层的联合分布： 这里 x =
阅读全文
摘要：1.RBM简介 受限玻尔兹曼机（Restricted Boltzmann Machines，RBM）最早由hinton提出，是一种无监督学习方法，即对于给定数据，找到最大程度拟合这组数据的参数。RBM常用于降维，分类，回归与协同过滤，特征学习甚至 topic model ，其网络结构如下： RBM是
阅读全文
摘要：对于加深网络层数带来的问题，（gradient diffuse 局部最优等）可以使用逐层预训练（pre-training）的方法来避免 Stack-Autoencoder是一种逐层贪婪（Greedy layer-wise training）的训练方法，逐层贪婪的主要思路是每次只训练网络中的一层，即首
阅读全文
摘要：self-taught learning 在特征提取方面完全是用的无监督的方法，对于有标记的数据，可以结合有监督学习来对上述方法得到的参数进行微调，从而得到一个更加准确的参数a。 在self-taught learning中，首先用 无标记数据训练一个sparse autoencoder，这样用对于
阅读全文
摘要：在machine learning领域，更多的数据往往强于更优秀的算法，然而现实中的情况是一般人无法获取大量的已标注数据，这时候可以通过无监督方法获取大量的未标注数据，自学习（ self-taught learning）与无监督特征学习（unsupervised feature learning）就
阅读全文