深度学习简介

一 Deep Leraning 的发展

二 深度学习的三大步骤

Step 1: Neural Network

---

 

每一个Logistic Regression 就是一个Neuron,不同的连接方式构成不同的Network。

Network 的连接方式有很多，而 Full Connect Feedforward Network 是一种最常见的方式。

一般的 Full Connect Feedforward Network的结构如下：

由以上延伸到Deep Learning，所谓的Deep 指的是 NetWork 中有很多的 Hidden Layers。

普遍规律是层数越高，准确率越高。

在NetWork中，常用的是矩阵运算，简单举例：

更为一般的运算示意图如下：

可以使用GPU加速矩阵的运算速度：

通常将输出层作为一个多分类来处理：

 应用举例（手写数字识别）：

NetWork 的结构应该怎么决定：

Step 2 ：Goodness of function

---

 一个样例的 Loss

总的 Loss

Step 3 ：Pick the best function

---

 

还是可以使用梯度下降的方法反复计算得到 best function。

思考：

参考：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2016/Lecture/DL%20(v2).pdf