03 2016 档案
摘要：softmax可以看做只有输入和输出的Neurons Networks,如下图： 其参数数量为k*(n+1) ,但在本实现中没有加入截距项，所以参数为k*n的矩阵。 对损失函数J(θ)的形式有： 算法步骤： 首先，加载数据集{x(1),x(2),x(3)...x(m)}该数据集为一个n*m的矩阵，然
阅读全文
摘要：SoftMax回归模型，是logistic回归在多分类问题的推广，即现在logistic回归数据中的标签y不止有0-1两个值，而是可以取k个值，softmax回归对诸如MNIST手写识别库等分类很有用，该问题有0-9 这10个数字，softmax是一种supervised learning方法。 在
阅读全文
摘要：PCA 给定一组二维数据，每列十一组样本，共45个样本点 -6.7644914e-01 -6.3089308e-01 -4.8915202e-01 ... -4.4722050e-01 -7.4778067e-01 -3.9074344e-01 ... 可以表示为如下形式： 本例子中的的x(i)为2
阅读全文
摘要：PCA的过程结束后，还有一个与之相关的预处理步骤，白化（whitening） 对于输入数据之间有很强的相关性，所以用于训练数据是有很大冗余的，白化的作用就是降低输入数据的冗余，通过白化可以达到（1）降低特征之间的相关性（2）所有特征同方差，白化是需要与平滑与PCA结合的，下边来看如何结合。 对于训练
阅读全文
摘要：主成分分析（PCA）是一种经典的降维算法，基于基变换，数据原来位于标准坐标基下，将其投影到前k个最大特征值对应的特征向量所组成的基上，使得数据在新基各个维度有最大的方差，且在新基的各个维度上数据是不相关的，PCA有几个关键的点： 1）归一化均值与方差，均值归一化后便于计算，方差归一化后便于对各个维度
阅读全文
摘要：32 Longest Valid Parentheses 方法：1）用一个额外的bool数组 2）Dynamic Programing 22. Generate Parentheses 方法： 递归（很难表示不太懂） 38. Count and Say 方法： 类似于递归的遍历 41. First
阅读全文
摘要：一大波matlab代码正在靠近.- -! sparse autoencoder的一个实例练习，这个例子所要实现的内容大概如下：从给定的很多张自然图片中截取出大小为8*8的小patches图片共10000张，现在需要用sparse autoencoder的方法训练出一个隐含层网络所学习到的特征。该网络
阅读全文
摘要：BP算法是适合监督学习的，因为要计算损失函数,计算时y值又是必不可少的，现在假设有一系列的无标签train data： ，其中 ，autoencoders是一种无监督学习算法，它使用了本身作为标签以此来使用BP算法进行训练，即，见如下示例： 自编码器尝试学习一个 的函数，它尝试逼近一个恒等函数，从而
阅读全文
摘要：BP算法很难调试，一般情况下会隐隐存在一些小问题，比如（off-by-one error），即只有部分层的权重得到训练，或者忘记计算bais unit，这虽然会得到一个正确的结果，但效果差于准确BP得到的结果。 有了cost function，目标是求出一组参数W，b，这里以表示，cost func
阅读全文
摘要：今天得主题是BP算法。大规模的神经网络可以使用batch gradient descent算法求解，也可以使用 stochastic gradient descent 算法，求解的关键问题在于求得每层中每个参数的偏导数，BP算法正是用来求解网络中参数的偏导数问题的。 先上一张吊炸天的图，可以看到BP
阅读全文
摘要：面对复杂的非线性可分的样本是，使用浅层分类器如Logistic等需要对样本进行复杂的映射，使得样本在映射后的空间是线性可分的，但在原始空间，分类边界可能是复杂的曲线。比如下图的样本只是在2维情形下的示例，假设有100维度，即特征数目是100，若使用logistic来做分类，对于这种线性不可分的情形，
阅读全文