摘要：1. 激活函数背景 1.1 激活函数作用 全连接层或CNN只是对数据做线性变换，即使添加再多的layer，本质依旧是一个单层神经网络。对此，引入非线性变换，对线性层的输出采用 Pointwise 类型的非线性变换作为下一层的输入，以此解决线性网络表达能力不足的问题。其中的 非线性函数称为 activ 阅读全文

摘要：1.1 卷积相关 1）卷积 2）反卷积 （只能做到近似恢复，无法完全恢复原图像） 参考：https://blog.csdn.net/qq_27261889/article/details/86304061 1.2 线性变换相关 1）Linear 2）矩阵相乘类：【mm:二维矩阵相乘；bmm:三维矩阵 阅读全文

摘要：1. 卷积 1）数学定义：S(t) = ∫ x(a) * w(t -a) da 等价于 S(t) = (x*w)(t) S(t)：feature_map 特征图；x(a)：input 输入；w：kernel_function 核函数（滤波器，算子） 对于工业数据，数据大多是 离散的、多维的 等，对上 阅读全文

摘要：1. 感知机与线性模型 单层感知机的表达式和线性分类表达式等同，可以将一个 单层感知机看作是一个线性分类器。单层感知机可以解决 与、或、非 的分类问题，但是不能解决异或分类（非线性）问题。how to solve the problem：多个线性分类器解决线性不可分问题，即：多个单层感知机组合叠加解 阅读全文