12 2014 档案

Regularized Logistic Regression
摘要：前言：上一篇博文介绍到当模型参数过多时，线性回归模型会出现过抑合现象，同样逻辑回归模型也会出现该情况，因此也需要通过正则项来解决该问题。本节内容参考：http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=DeepLe... 阅读全文
posted @ 2014-12-20 21:19 dupuleng 阅读(197) 评论(0) 推荐(0) 编辑
Regularized Linear Regression
摘要：前言：在机器学习中，如果模型参数过多，并且训练样本较小的情况下，经常会出现过抑合。为了解决该问题，通过在目标函数中加入正则项，通常使L2范式。本文主要介绍线性回归中正则项的运用，参考http://openclassroom.stanford.edu/MainFolder/DocumentPage.p... 阅读全文
posted @ 2014-12-20 20:59 dupuleng 阅读(393) 评论(0) 推荐(0) 编辑
Exercise : Logistic Regression 2
摘要：前言：上一篇博文 Logistic Regression通LBFGS方法求解，本篇通过牛顿法求解，通过学习http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=DeepLearning&doc=exercises/e... 阅读全文
posted @ 2014-12-19 18:15 dupuleng 阅读(257) 评论(0) 推荐(0) 编辑
Logistic Regression
摘要：参考网页：http://ufldl.stanford.edu/tutorial/supervised/LogisticRegression/在线性回归中，我们找到一个函数，对于输入x预测值为连续实值，但有时候我们想得到一个离散值，如在二分类问题中，我们想要给一个输入一个类别标签，在logistic ... 阅读全文
posted @ 2014-12-18 13:20 dupuleng 阅读(596) 评论(0) 推荐(0) 编辑
Linear Regression
摘要：参考网页：http://ufldl.stanford.edu/tutorial/supervised/LinearRegression/线性回归的目标是通过一个输入预测目标值，比如通过房子大小，房间数，离市区的远近等特征预测房子的价格。那么我们就需要找到一个函数，对于每个训练样本预测，如果能够通过训... 阅读全文
posted @ 2014-12-18 12:54 dupuleng 阅读(690) 评论(0) 推荐(0) 编辑
Softmax Regression Review
摘要：前言：今天重新看了andrel ng ufldl上关于softmax regression的另一篇教程，主要内容基本和上一篇基本一致。但在编程实现过程中有一些差异，可能两部分内容代码实现是由不同的人实现的。原来只是想巩固一下的，不过通过不同的代码实现也发现了一些问题。理论基础：为了描述方便，下面将原... 阅读全文
posted @ 2014-12-18 11:21 dupuleng 阅读(566) 评论(0) 推荐(0) 编辑
Exercise : RICA
摘要：本节内容参考ng网页教程http://ufldl.stanford.edu/tutorial/unsupervised/ExerciseRICA/实验内容：使用MNIST数据集进行特征学习，图片大小9*9，特征数目50 ；由于电脑内存限制，仅使用2000张样本。优化方法：LBFGS方法，由于没有正交... 阅读全文
posted @ 2014-12-15 23:34 dupuleng 阅读(613) 评论(0) 推荐(0) 编辑
RICA : Reconstruction Independent Component Analysis
摘要：前几天学习了ICA，上周五师兄讲论文中提到RICA，才发现原来ICA还有一个变种，赶紧过来脑补下。ICA的具体内容见博主另一博文ICA: independent Component Analysis.ICA主要思想是学习一组不完备正交基重构样本。ICA有三个不足之处：1、不能学习过完备基（over-... 阅读全文
posted @ 2014-12-15 21:33 dupuleng 阅读(900) 评论(0) 推荐(0) 编辑
深度学习中的优化算法
摘要：在深度学习过程中经常会听到**优化 算法云云，优化算法即通过迭代的方法计算目标函数的最优解，为什么要用到优化算法呢？1、如果是凸优化问题，如果数据量特别大，那么计算梯度非常耗时，因此会选择使用迭代的方法求解，迭代每一步计算量小，且比较容易实现2、对于非凸问题，只能通过迭代的方法求解，每次迭代目标函数... 阅读全文
posted @ 2014-12-15 16:58 dupuleng 阅读(4541) 评论(0) 推荐(0) 编辑
CG ： Conjugate Gradient Method
摘要：前几天学习了ICA模型，发现不同的优化方法对训练结果影响很大，就想学习下比较流行的优化方法：SGD , BFGS , CG，CG以前完全没有接触过，所以就从CG开始，各种数学推导，搞得我头都大了，从上周中下看到这周初，终于可以理出个思路来了。废话不多说了，直接进入主题。共轭方向： 若有两个向量X,Y... 阅读全文
posted @ 2014-12-15 16:06 dupuleng 阅读(1745) 评论(0) 推荐(0) 编辑
Exercise : Independent Componet Analysis
摘要：参考网页：http://deeplearning.stanford.edu/wiki/index.php/Exercise:Independent_Component_Analysis实验内容： 模型：ICA模型 数据集：STL_10，样本RGB三通道的8*8patch块，样本维度8*8*3 ... 阅读全文
posted @ 2014-12-09 18:09 dupuleng 阅读(441) 评论(0) 推荐(0) 编辑
ICA : independent Component Analysis
摘要：参考网页：http://deeplearning.stanford.edu/wiki/index.php/Independent_Component_Analysis在sparse coding 中，我们寻求一组过完备基（over-complete basis ），显然这些基之间不线性相关，这种模型... 阅读全文
posted @ 2014-12-09 17:11 dupuleng 阅读(545) 评论(0) 推荐(0) 编辑
在线latex公式编辑器
摘要：在写技术博客的时候经常要添加一些公式，使用在线latex公式编辑器非常方便。对完全不懂latex的人也完全适用，只需要根据操作点击相应按纽即可：上半部分为相应操作按纽，黄色部分为输入栏， 左上角竟然还有一个国旗 --!输入自己的公式，下面会生成相应的HTML(黄色输入区向下看），比如在博客园中编辑博... 阅读全文
posted @ 2014-12-08 17:39 dupuleng 阅读(975) 评论(0) 推荐(0) 编辑
Exercise : sparse coding
摘要：参考网页：http://deeplearning.stanford.edu/wiki/index.php/Exercise:Sparse_Coding前言： 使用IMAGES数据集，在10张图片上采样20000个patch块，学习特征并对特征进行可视化表示。实验流程: 1、采样20000patc... 阅读全文
posted @ 2014-12-08 17:23 dupuleng 阅读(608) 评论(0) 推荐(0) 编辑
使用BP算法计算sparse coding目标函数的梯度
摘要：参考网页：http://deeplearning.stanford.edu/wiki/index.php/Deriving_gradients_using_the_backpropagation_ideaBP算法求解梯度，即将重构误差根据权重依次从输出层向前传输到隐含层，具体过程如下：接下来介绍如何... 阅读全文
posted @ 2014-12-08 16:40 dupuleng 阅读(453) 评论(0) 推荐(0) 编辑
Spars Coding理论
摘要：参考网页：http://deeplearning.stanford.edu/wiki/index.php/Sparse_Codinghttp://deeplearning.stanford.edu/wiki/index.php/Sparse_Coding:_Autoencoder_Interpret... 阅读全文
posted @ 2014-12-08 15:33 dupuleng 阅读(545) 评论(0) 推荐(0) 编辑
数据预处理相关技巧
摘要：参考网页：http://deeplearning.stanford.edu/wiki/index.php/Data_Preprocessinghttp://deeplearning.stanford.edu/wiki/index.php/Whitening前言： 数据预处理在深度学习中非常重要，通... 阅读全文
posted @ 2014-12-02 17:16 dupuleng 阅读(432) 评论(0) 推荐(0) 编辑
Exercise : Feature extraction using convolution
摘要：参考网页：http://deeplearning.stanford.edu/wiki/index.php/Feature_extraction_using_convolutionhttp://deeplearning.stanford.edu/wiki/index.php/Pooling实验介绍：　... 阅读全文
posted @ 2014-12-01 22:56 dupuleng 阅读(392) 评论(0) 推荐(0) 编辑