[学习笔记]深度学习-卷积神经网络从入门到精通

第二章 预备知识

2.1激活函数

激活函数也就是人工神经网络的神经元上运行的函数。

理论上可以是非线性的，但一般选非线性的。如sigmod函数，双曲正切函数，硬限幅函数，斜面函数等等

2.2矩阵运算

包括转置，旋转，乘积，加减法，阿达马积，克罗内克积，逐元函数。

2.3导数函数

包括sigmoid函数等的导数

2.4梯度下降算法

在无约束条件下计算出可微函数极小值的基本方法。负梯度方向就是函数此时下降最快的方向。

梯度下降算法一般线性收敛，速度通常较慢。

2.5反向传播算法

深度神经网络的基本学习训练方法是反向传播算法。

本质上是具有递归结构的梯度下降算法，往往需要给出足够多的训练样本才能获得满意的效果。

理解方向传播算法的基础是：任意前馈神经网络的通用反向传播算法和深层神经网络的逐层反向传播算法。

2.5.1通用反向传播算法 https://yq.aliyun.com/articles/89551

2.5.2逐层反向传播算法 https://blog.csdn.net/slx_share/article/details/80236070

2.6通用逼近定理 https://yq.aliyun.com/articles/89552

如果包含足够多的隐含神经元，那么即使只有一个隐含层，它所表达的输入输出在理论上也能充分逼近任何一个定义在

单位立方体上的连续函数。

2.7内外卷积运算