ML From Hung Yi Lee --- Brief introduction of deep learning #6
Deep Learning
前沿
- \(Deep\ Learning\)的使用频次几乎呈现指数级增长
- 表明\(Deep\ Learning\)已经越来越强大，运用面也越来越广了
- 主要步骤
Neural Network
- 把多个神经元连接起来就是神经网络
连接方式
神经网络的连接方式的不同导致不同的神经网络结构
- 可以把一个神经网络看作成为是一个\(function\)输出一个\(vector\)然后输出另外一个\(vector\)
- 建立连接方式的过程就是构建function set的过程，neural network 所能表示的function会非常多，所以neural network 才这么有用
全连接神经网络
- Input Layer: 输入层
- Hidden Layers: 隐藏层
- Output Layer: 输出层
- 层数越来越多
- 对于层数越来越多的神经网络需要使用更加特殊的结构，否则无法train
神经元的运作方式
大部分与矩阵运算有关
- 例子
- 在每一个连接层，就是使用矩阵计算出结果，加上bias，然后使用sigmod函数得到输出值输出到下一层。
就是一连串的矩阵计算，我们使用矩阵计算的时候就可以借助GPU来帮助我们加速
- hidden layers ： 就是在帮助我们使用线性变换，使得数据点之间可以分开
- Output Layer： 就是相当于一个多分类器，拿到线性处理后的数据然后输出结果
- 比如说手写数字识别
Hidden Layers： 完全决定了我们的输出函数集，如果说设计的不是很好，就有可能在这个function set 里面完完全全找不到这个最好的function，所以说隐藏层的结构非常重要
- 计算每一个cross entropy，然后计算每一个类下面的误差
- 使用Gradient Descent找到使得error最小的那个function
