神经网络----笔记（1）

http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2017/Lecture/DL.mp4

1、步骤

Step1：就是Neural Network。

2、概念

一个logistics regression就是一个Neural，将多个logistics regression连接起来就是Neural Network。（连接方式有很多种）

参数：每个logistics regression都有自己的weight和bias。所有的权重和偏差就是Neural Network的参数。

连接方式：全连接

全连接的神经网络中如果知道每一个激活函数的权重和偏差（参数），则神经网络就是一个函数，它的输入和输出都是向量。

输入层＋隐藏层＋输出层，每一层就是一个神经。

深层（Deep):隐藏层有多层。

手写识别的例子：

输入一张手写图片，则它的输入为256大小的向量（像素），输出就是0-9这10个类别。

输入：256向量

输出：10向量

过程经过隐藏层（多层），神经网络就是求参数，如果隐藏层的层数、连接方式、激活函数都确定。

模型：即损失函数，可用交叉熵来设定，因为输出的向量为概率值。

求解：GD（梯度下降）