摘要：
在machine learning领域，更多的数据往往强于更优秀的算法，然而现实中的情况是一般人无法获取大量的已标注数据，这时候可以通过无监督方法获取大量的未标注数据，自学习（ self-taught learning）与无监督特征学习（unsupervised feature learning）就 阅读全文
摘要：
softmax可以看做只有输入和输出的Neurons Networks,如下图： 其参数数量为k*(n+1) ,但在本实现中没有加入截距项，所以参数为k*n的矩阵。 对损失函数J(θ)的形式有： 算法步骤： 首先，加载数据集{x(1),x(2),x(3)...x(m)}该数据集为一个n*m的矩阵，然 阅读全文
摘要：
SoftMax回归模型，是logistic回归在多分类问题的推广，即现在logistic回归数据中的标签y不止有0-1两个值，而是可以取k个值，softmax回归对诸如MNIST手写识别库等分类很有用，该问题有0-9 这10个数字，softmax是一种supervised learning方法。 在 阅读全文
摘要：
PCA 给定一组二维数据，每列十一组样本，共45个样本点 -6.7644914e-01 -6.3089308e-01 -4.8915202e-01 ... -4.4722050e-01 -7.4778067e-01 -3.9074344e-01 ... 可以表示为如下形式： 本例子中的的x(i)为2 阅读全文
摘要：
PCA的过程结束后，还有一个与之相关的预处理步骤，白化（whitening） 对于输入数据之间有很强的相关性，所以用于训练数据是有很大冗余的，白化的作用就是降低输入数据的冗余，通过白化可以达到（1）降低特征之间的相关性（2）所有特征同方差，白化是需要与平滑与PCA结合的，下边来看如何结合。 对于训练 阅读全文
摘要：
主成分分析（PCA）是一种经典的降维算法，基于基变换，数据原来位于标准坐标基下，将其投影到前k个最大特征值对应的特征向量所组成的基上，使得数据在新基各个维度有最大的方差，且在新基的各个维度上数据是不相关的，PCA有几个关键的点： 1）归一化均值与方差，均值归一化后便于计算，方差归一化后便于对各个维度 阅读全文
摘要：
32 Longest Valid Parentheses 方法：1）用一个额外的bool数组 2）Dynamic Programing 22. Generate Parentheses 方法： 递归（很难表示不太懂） 38. Count and Say 方法： 类似于递归的遍历 41. First 阅读全文
摘要：
一大波matlab代码正在靠近.- -! sparse autoencoder的一个实例练习，这个例子所要实现的内容大概如下：从给定的很多张自然图片中截取出大小为8*8的小patches图片共10000张，现在需要用sparse autoencoder的方法训练出一个隐含层网络所学习到的特征。该网络 阅读全文
摘要：
BP算法是适合监督学习的，因为要计算损失函数,计算时y值又是必不可少的，现在假设有一系列的无标签train data： ，其中 ，autoencoders是一种无监督学习算法，它使用了本身作为标签以此来使用BP算法进行训练，即，见如下示例： 自编码器尝试学习一个 的函数，它尝试逼近一个恒等函数，从而 阅读全文
摘要：
BP算法很难调试，一般情况下会隐隐存在一些小问题，比如（off-by-one error），即只有部分层的权重得到训练，或者忘记计算bais unit，这虽然会得到一个正确的结果，但效果差于准确BP得到的结果。 有了cost function，目标是求出一组参数W，b，这里以表示，cost func 阅读全文