深度学习速通
---
Part0 引言
(1)深度学习:直觉,经验化,层次
(2)形式化,硬编码:
(3)知识库:
(4)机器学习:
(5)逻辑回归:
(6)朴素贝叶斯:
(7)数据的表示
表示差异现象在人类中存在
(8)表示学习:
[?]留下一个问题,如果这(深度学习)是自动学习器,即人类底层直觉的数学模型,那为什么它不是我们最后要的东西
(9)自编码器
(9a)编码器
(9b)解码器
(10)变差因素(factors of variation)
(11)深度学习与表示:提取变差因素与获取表示一样难,DL用简单表示来构建复杂概念
(12)多层感知机
(13)两种看待深度学习视角:表示的复合或多步骤程序的学习(那么后者的复杂度可以被定量描述),这里还有状态信息的概念
(14)多种衡量模型深度的办法:计算图的深度/概念图深度
(15)深度学习在20世纪90年代为联结主义,其雏形为控制论
(16)ANN:深度学习曾以模拟生物的人工神经网络为名
(17)学习多层次组合这一观点超越使用神经科学刻画的NN
[?]又插一个问题,根据tyy所说,自然界每秒可以解非常多的微分方程,甚至几亿阶混沌和流体力学方程,是否可以证明自然的某种优越性,如果可以证明,我们怎样利用
[?]再插一个问题,我们怎么解决四则运算,不论人或机器,换句话说人怎么直觉理解规则或形式化的定理
(18)神经科学对单一算法的支持,这很重要
[?]插一个问题,我们需要同时研究一点什么,用TCS,用量子,用神经科学,去造传统意义,生物,模拟,量子AGI;而热力学,电动力学,控制论,组合优化,信号处理,信息论,粒子物理,混沌,PDE的知识是否是可用的
(19)整流线性单元
(!20)基于神经系统实现的认知模型与赫布:留坑必填!赫布学习是什么?
(21)联结主义
(21a)分布式表示:
(22)LSTM:对长序列建模的基本问题,提出模型
(23)48页附近几张插图里有各种各样的NN模型,可以看一下
Part1 基础
Chapter1 线代
(1)伪逆的性质与最小二乘与投影空间
(2)迹运算中的迹技巧
(2a)迹表出Fro范数
(2b)迹的轮换性质:我觉得这个就是我们OI中的迹方法在环上应用的本质之一
(3)主成分分析(Principal components analysis,PCA),我觉得是统计学习
