摘要：
概述以监督学习为例，假设我们有训练样本集(x(i),y(i)),那么神经网络算法能够提供一种复杂且非线性的的假设模型hw,b(x),它具有参数W，b，可以以此参数来拟合我们的数据。为了描述神经网络，我们先从最简单的神经网络讲起，这个神经网络仅由一个“神经元”构成，以下即是这个神经元的图示：这个“神经... 阅读全文
摘要：
9.3、Restricted Boltzmann Machine (RBM)受限玻尔兹曼基假设有一个二部图，每一层的节点之间没有链接，一层是可视层，即输入数据层（v)，一层是隐藏层(h)，如果假设所有的节点都是随机二值变量节点（只能取0或者1值），同时假设全概率分布p(v,h)满足Boltzmann... 阅读全文
摘要：
九、Deep learning的常用模型或者方法9.1、AutoEncoder自动编码器Deep Learning最简单的一种方法是利用人工神经网络的特点，人工神经网络（ANN）本身就是具有层次结构的系统，如果给定一个神经网络，我们假设其输出与输入是相同的，然后训练调整其参数，的都每一层中的权重。自... 阅读全文
摘要：
K-means聚类算法K-means聚类算法也是聚类算法中最简单的一种了，但是里面包含的思想却不一般。聚类属于无监督学习。在聚类问题中，给我们的训练样本是，每个，没有了y。K-means算法是将样本聚类成k个簇（cluster），具体算法描述如下：1、 随机选取k个聚类质心点（cluster cen... 阅读全文
摘要：
深度学习（deep learning）思想就是堆叠多个层，也就是说这一层的输入作为下一层的输出。通过这种方式，就可以实现对输入信息进行分级表达了。浅层学习和深度学习（shallow learning and deep learning）浅层学习时机器学习的第一次浪潮：BP算法（Back Propag... 阅读全文
摘要：
梯度下降法时基于这样的观察：如果是函数F（x）在点a处可微且有定义，那么函数F（x）在a点沿着梯度相反的方向-▽F（a）下降最快。因而，如果b=a-γ▽F（a）对于γ>0为一个够小数值时成立，那么F（a）≥F（b）。考虑到这一点，我们可以从函数F的局部极小值的初始估计x0出发，并考虑如下序列x0,x... 阅读全文