Deep Learning 基础概念

deep learning 深度学习
Day1

1.深度学习是模拟人脑神经网络，通过无监督学习样本数据，提取特征，从而建立准确的分类或预测模型。
2.“深度”则是指学习过程中的特征颗粒处理层次更加深入，好比从分子到原子、从原子到夸克，对特征的抽取粒度越细、层级越深，特征对样本的表达就越准确。
3.表达的基础是分级处理，在处理过程中需要尽量保持数据准确性完整性。
4.浅层学习，反向传播算法（BP算法）带来SVM、Boosting等机器学习模型，其模型最多只含有一层隐层节点。
(1)BP算法：back propagation，将误差反向输入，利用梯度下降算法调整神经元权值。
(2)隐层：把输入数据的特征，抽象到另一个维度空间，来展现其更抽象化的特征，为了更好的线性划分不同类型的数据。
(3)隐层节点：隐层节点就是隐层含有的神经元。
(4)一层隐层网络就是一层特征层次，每一个神经元可以类似看作一个特征属性。
5.深度学习强调特征，采用wake-sleep算法，训练过程分两步：
(1)自下而上，无监督，使用无标签（有也行）数据学习，逐层获取特征模型参数
(2)从上到下，有监督，使用有标签数据训练，调整模型参数
(3)wake-sleep算法：
①Wake认知过程，真实样本抽象化
②Sleep生成过程，抽象样本真实化
6.分层结构：输入层，隐层（n个），输出层，只有相邻节点有连接
7.AutoEncoder自动编码器：
(1)通过调整encoder和decoder参数，减小误差，获取尽可能代表样本特征的code。相当增加一步验证，来保证无标签数据通过隐层处理而不更改重要特征。
(2)重复上面的过程增加更多层隐层。
(3)使用分类器对以上最终code分类。分类器需要用标签样本监督学习，从上到下完成验证，对分类器甚至整个系统做调整
8.梯度下降算法：沿梯度下降的方向求解极小值
(1)找到数值下降最快的方向
(2)移动下降某个单位的步长
(3)重复12
9.AutoEncoder两个变体：
(1)Sparse AutoEncoder稀疏自动编码器
①要求节点中大部分为0
②使code稀疏，计算会更快，但是对于准确性影响是？？？？
(2)Denoising AutoEncoders降噪自动编码器
10.Convolutional Neural Networks卷积神经网络

11.简单形容RNN：联系上下文理解意思
12.激活函数:多层神经网络中，上层节点的输出和下层节点的输入之间具有的函数关系
(1)Sigmoid函数
(2)tanh函数
(3)Relu函数

13.监督学习：从给定的训练数据集中学习出一个函数（模型参数），当新的数据到来时，可以根据这个函数预测结果。常见的有监督学习算法：回归分析和统计分类。最典型的算法是KNN和SVM。
14.无监督学习：数据没标识，让机器学习出一个分类方法。常用的无监督学习算法主要有三种：聚类、离散点检测和降维，包括主成分分析方法PCA等，等距映射方法、局部线性嵌入方法、拉普拉斯特征映射方法、黑塞局部线性嵌入方法和局部切空间排列方法等。目前常用聚类：把相似的东西聚在一起，而我们并不关心这一类是什么。
15.半监督学习（semi-supervised learning）。对于半监督学习，其训练数据的一部分是有标签的，另一部分没有标签，而没标签数据的数量常常极大于有标签数据数量（这也是符合现实情况的）。隐藏在半监督学习下的基本规律在于：数据的分布必然不是完全随机的，通过一些有标签数据的局部特征，以及更多没标签数据的整体分布，就可以得到可以接受甚至是非常好的分类结果。