李宏毅深度学习笔记02---深度学习的发展历程、3大研究步骤、

1.深度学习的发展历程

 

 

2.深度学习的三大步

(1)前馈神经网络：

神经网络的结构：

矩阵运算：

运算过程：

x为（x1,x2,.....xn）,b为(b1,b2,...bn)

特征工程结构图：

案例：

此案例中输入，输出已经确定，需要设置神经网络的结构

可能出现的问题：

问题1：需要多少层，每层需要多少神经元？

试验+错误+直觉

(2)判断模型的好坏---利用损失函数Loss

cross entropy 交叉熵

 

 

3.why deep

 

模块化编程：不要把所有东西都放到主函数中

 

先利用基础分类器进行分类，再调用另外的分类器。优点：利用少量的数据就可以训练比较好的模型。

deep learning 的优点是模块化编程。

 

4.backpropagation 反向传播算法

链式法则：

计算过程：

(1)前向传播 Forward Pass计算方法

计算 ∂z/∂w的计算：

计算小案例：

 

 

 

(2)反向传播 Backward Pass计算方法

最终计算结果：

反向传播的理解图：