深度学习花书笔记---0、读大纲

深度学习花书笔记---0、读大纲

一、总结

一句话总结：

第一部分：【应用数学与机器学习基础】：也就是【线代、概率论】等数学基础

第二章：线性代数
第三章：概率与信息论
第四章：数值计算（上溢和下溢、病态条件、约束优化等）
第五章：机器学习基础（机器学习的一些概念，比如数据集啥的）

第二部分：【深度网络：现代实践】：也就是【卷积神经网络，循环神经网络，神经网络优化】等

第六章：深度前馈网络
第七章：深度学习中的正则化
第八章：深度模型中的优化（一些梯度下降算法、一些优化策略比如批标准化等）
第九章：卷积网络
第十章：序列建模：循环和递归网络
第十一章：实践方法论（性能度量、超参数、调试策略等）
第十二章：应用（自然语言处理、计算机视觉、语音识别等）

第三部分：【深度学习研究】：也就是【自编码器、表示学习、蒙特卡罗方法】等的方法

第十三章：线性因子模型（概率PCA、因子分析、独立成分分析等）
第十四章：自编码器
第十五章：表示学习（迁移学习、领域自适应、贪心逐层无监督预训练等）
第十六章：深度学习中的结构化概率模型（使用图描述模型结构等）
第十七章：蒙特卡罗方法（Alpha-go里面的搜索算法）
第十八章：直面配分函数（对数似然梯度、估计配分函数等）
第十九章：近似推断（期望最大化、变分推断、变分学习等）
第二十章：深度生成模型（玻尔兹曼机、深度玻尔兹曼机、卷积玻尔兹曼机等）

 

1、第一部分：【应用数学与机器学习基础】：也就是线代、概率论等数学基础？

第二章：【线性代数】；第三章：【概率与信息论】

第四章：【数值计算】（上溢和下溢、病态条件、约束优化等）

第五章：【机器学习基础】（机器学习的一些概念，比如数据集啥的）

 

2、第二部分：【深度网络：现代实践】：也就是【卷积神经网络，循环神经网络，神经网络优化】等？

第六章：【深度前馈网络】、第七章：深度学习中的【正则化】、第八章：深度模型中的【优化】（一些梯度下降算法、一些优化策略比如批标准化等）

第九章：【卷积网络】

第十章：序列建模：【循环和递归网络】

第十一章：【实践方法论】（性能度量、超参数、调试策略等）、第十二章：【应用】（自然语言处理、计算机视觉、语音识别等）

 

3、第三部分：【深度学习研究】：也就是【自编码器、表示学习、蒙特卡罗方法】等的方法？

第十三章：【线性因子模型】（概率PCA、因子分析、独立成分分析等）、第十四章：【自编码器】

第十五章：【表示学习】（迁移学习、领域自适应、贪心逐层无监督预训练等）、第十六章：【深度学习中的结构化概率模型】（使用图描述模型结构等）

第十七章：【蒙特卡罗方法】（Alpha-go里面的搜索算法）、第十八章：【直面配分函数】（对数似然梯度、估计配分函数等）

第十九章：【近似推断】（期望最大化、变分推断、变分学习等）、第二十章：【深度生成模型】（玻尔兹曼机、深度玻尔兹曼机、卷积玻尔兹曼机等）

 

 

二、内容在总结中

博客对应课程的视频位置：