C++笔记(2)：《数据结构和问题求解》part1笔记
摘要：前言： C++，数据结构，算法，这些知识在互联网行业求职过程中是必备的，而本科电路硬件出身的我这些基本就没学过，也用得比较少，为了以后的饭碗，从现在开始还是花点时间来看下这些东西吧。本节是mark allen Weiss数据结构书籍data structures and algorithm analysis in c++ (second edition)中第一大部分的笔记(随手写的，供自己以后参考)，这部分主要是讲解一些C++的知识，比如面向对象概念，继承，多态，重载，虚函数，模板，设计模式等等。 Chap1： 本章主要是讲一些array，string，struct，pointer的...
阅读全文
posted @
2013-05-30 15:22
tornadomeet
阅读(2820)
推荐(0) 编辑
机器学习&数据挖掘笔记_9(一些svm基础知识)
摘要：前言： 这次的内容是Ng关于machine learning关于svm部分的一些笔记。以前也学过一些svm理论，并且用过libsvm，不过这次一听Ng的内容，确实收获不少，隐约可以看到从logistic model到svm model的过程。 基础内容： 使用linear模型进行分类时，可以将参数向量看成一个变量，如果代价函数用MSE表示，则代价函数的图形类似抛物线（以新的变量为自变量）；如果代价函数用交叉对数公式表示时，则其代价函数曲线如下： 在Logistic回归中其代价函数可以表示为如下： 其中第一项是训练样本的误差，第二项是权值系数的惩罚项，λ为权值惩罚系数，其中...
阅读全文
posted @
2013-05-26 23:01
tornadomeet
阅读(10981)
推荐(1) 编辑
机器学习&数据挖掘笔记_17（PGM练习一：贝叶斯网络基本操作）
摘要：前言： 以前在coursera上选过一门PGM的课（概率图模型），今天上去才发现4月份已经开课了，6月份就要结束了，虽然最近没什么时间，挤一点算一点，所以得抓紧时间学下。另外因为报名这些课程的时候，开课老师是不允许将课程资料和code贴在网上的，所以作为学生还是要听从老师的要求，所以这个系列的笔记只是简单的写下，完全留给自己看的，内容估计不会很完整的。 笔记： 模型的表示其来源可以由相应领域的专家给出，也可以直接从数据中学习到。如下所示： 模型的准确性具有不确定性主要是因为：对现实世界的描述不全面；观察到的数据有噪声；模型只是体现大部分的数据，对某些特例不会考虑；模型固有的不确...
阅读全文
posted @
2013-05-12 17:25
tornadomeet
阅读(9121)
推荐(1) 编辑
Deep learning：三十九(ICA模型练习)
摘要：前言： 本次主要是练习下ICA模型，关于ICA模型的理论知识可以参考前面的博文：Deep learning：三十三(ICA模型)。本次实验的内容和步骤可以是参考UFLDL上的教程：Exercise:Independent Component Analysis。本次实验完成的内容和前面的很多练习类似，即学习STL-10数据库的ICA特征。当然了，这些数据已经是以patches的形式给出，共2w个patch，8*8大小的。 实验基础： 步骤分为下面几步：设置网络的参数，其中的输入样本的维数为8*8*3=192。对输入的样本集进行白化，比如说ZCA白化，但是一定要将其中的参数eplison...
阅读全文
posted @
2013-05-07 22:56
tornadomeet
阅读(9354)
推荐(3) 编辑
Deep learning：三十八(Stacked CNN简单介绍)
摘要：前言： 本节主要是来简单介绍下stacked CNN（深度卷积网络），起源于本人在构建SAE网络时的一点困惑：见Deep learning：三十六(关于构建深度卷积SAE网络的一点困惑)。因为有时候针对大图片进行recognition时，需要用到无监督学习的方法去pre-training（预训练）stacked CNN的每层网络，然后用BP算法对整个网络进行fine-tuning（微调），并且上一层的输出作为下一层的输入。这几句话说起来很简单，可是真的这么容易吗？对于初学者来说，在实际实现这个流程时并不是那么顺利，因为这其中要涉及到很多细节问题。这里不打算细讲deep statcked网...
阅读全文
posted @
2013-05-05 20:27
tornadomeet
阅读(81885)
推荐(11) 编辑
Deep learning高质量交流群
摘要：最近Deep Learning特别火，但是发现网上很少有专门针对DL讨论的论坛等，所以交流起来特别不方便。独学而无友，则孤陋而寡闻，本人刚开始接触DL，菜鸟一枚，希望和各位志同道合的朋友多多交流，特建立了一个Deep Learning高质量交流qq群，欢迎加入，群号为：209306058（大家加入群时需验证，请用一句话简单说下你对DL的认识，以防乱加，哈哈，谢谢！） 规定（必须执行） 1. 杜绝不文明言论 2. 严禁广告 3. 严禁跑题 引导（参考执行） 1. 群中讨论的内容 为了保证群内交流的质量请大家尽量讨论Deep Learning为主的算法，以及与其相关的ML,DM,...
阅读全文
posted @
2013-05-02 23:28
tornadomeet
阅读(14567)
推荐(2) 编辑
Deep learning：三十七(Deep learning中的优化方法)
摘要：内容： 本文主要是参考论文：On optimization methods for deep learning，文章内容主要是笔记SGD（随机梯度下降），LBFGS（受限的BFGS），CG（共轭梯度法）三种常见优化算法的在deep learning体系中的性能。下面是一些读完的笔记。 SGD优点：实现简单，当训练样本足够多时优化速度非常快。 SGD缺点：需要人为调整很多参数，比如学习率，收敛准则等。另外，它是序列的方法，不利于GPU并行或分布式处理。 各种deep learning中常见方法（比如说Autoencoder，RBM，DBN，ICA，Sparse coding）的区别是...
阅读全文
posted @
2013-05-02 00:04
tornadomeet
阅读(28413)
推荐(2) 编辑
Deep learning：三十六(关于构建深度卷积SAE网络的一点困惑)
摘要：前言： 最近一直在思考，如果我使用SCSAE（即stacked convolution sparse autoendoer）算法来训练一个的deep model的话，其网络的第二层开始后续所有网络层的训练数据从哪里来呢？其实如果在这个问题中，当我们的样本大小（指提供的最原始数据，比如大的图片集）和我们所训练第一个网络的输入维度是一样的话，那么第二层网络的输入即第一层网络的输出（后续的网络依次类推），但是这种情况下根本就不会涉及到convolution（一般有convolution的地方也会有pooling），所以不属于我想要讨论的SCSAE框架。后面根据自己对deep learning的...
阅读全文
posted @
2013-05-01 15:32
tornadomeet
阅读(21849)
推荐(1) 编辑
