机器学习第五节课20210401

深度学习是什么？

机器学习与深度学习

早期：感知机

中期：神经网络

非神经网络时期

现代：深度学习

生物神经元和感知器

MP神经元模型

输入：其他n个神经元传递过来的输入信号。

处理：输入信号通过带权重的连接进行传递。

错误预测的代价

损失函数—交叉熵（用于输出值为0-1的模型）

J（W）= 真实的概率*log（预测的概率）

 

优化算法（课堂重点）

找到使得损失函数最小的神经网络参数（权重）

W* = argmin J（W）

J（W0,W1）

回顾—梯度下降法：

多层神经网络梯度怎么求？

链式求导+动态规划 结合起来可以快速求梯度，下节课讲解。

神经网络基本机构

神经网络学习-反向传播算法

图像作为输入的神经网络