【深度学习学习记录】之一:开篇闲扯一些话
深度学习的历史可谓是一波三折,而就在最近阿尔法狗战胜李世乭,让深度学习再次回到人们的视线。
我对深度学习的真正意义上的认识,还得从2016.05.26日的一节课上说起。
讲课老师是信科软工所的李戈老师,他是一位较年轻的副教授,讲课风趣幽默,看上去很健谈,喜欢笑。
这位老师在三个小时的课程中,带领我们从只是听说过深度学习到对深度学习有个大致了解。全程我都非常认真的听了,这种感受已经在大三之后都几乎没有过了,我认为一方面是老师讲课的方式非常吸引人,另一方面是兴趣使然,我对人工智能方面还是非常感兴趣的。
对老师的讲课内容做了一个粗略的梳理,内容如下:
1、神经网络:
神经元:存储状态,传递信号
神经元状态:非激活/激活
2、基础:线代、高数、概率论
3、线性性质:相对关系不会变化,不能进行分类,因此监督式学习不能采用线性变化
线性函数:一个向量 * 一个矩阵,结果是将向量进行基变换,但是向量中的数据的相对位置不会发生变化、
非线性函数:非常重要!!!!!!!!!
4、多个神经元组成神经网络
5、神经网络的能力:隐藏层的数量,隐藏层越多,神经网络的能力越强。
多层神经网络结构: 输入层 :隐藏层 :··· : 输出层
一个神经网络的层数:隐藏层层数+输出层(不含输入层)
6、Why deep?
1)仿生学角度:大脑皮层是有厚度的区分的
2)认知学角度:hubel wiesel试验 / 稀疏编码算法
输入 —> Low-Level Feature —>Mid-Level Feature —> High-Level Feature —> 输出
普遍特征—> 深度学习 —>抽象特征
抽象:不是直观可以获得的。
举例:通过考试分数来判断学生的学习能力,这是简单的特征抽取;但是通过考试分数来判断一个人的性格,则是抽象特征抽取。
前者对应简单神经网络,后者对应深度神经网络。
7、深度学习缺点:training过程复杂,计算量大
8、反向传播算法:back-propagation
梯度下降算法:局部最优特性
问题:梯度消失、梯度爆炸
9、深度神经网络的对头:SVM(核函数),SVM缺点:没有完全利用数据的维度;需要经过人工筛选特征,依赖于先验知识;can’t contain hierarchial structure
10、Hinton 2016
Basic papers on deep learning
Movies of the neutral network
ImageNet
11、深度学习在近年来又重新热门的原因:
1)计算能力增强
2) 数据集的增加
12、NLP:word2vec,依存树
记录的内容非常零散,根据老师所讲的内容。