CNN的等变形&不变性

CNN

等变形

对输入做的变换会相应的反应在输出上
f(g(x))=g(f(x))

例如f(x)是识别人脸函数，g(x)是将图像向右移动一个单位的操作
将原图像做g操作后输入f函数的输出，跟先得到f函数的输出再做g操作的输出是一样的

不变性

对于f施加任何操作得到的输出都不变
f(x)=f(x')

resnet

深层网络：
提取层次更丰富的特征
网络退化，准确率饱和甚至下降
梯度消失

实现冗余层的恒等映射

regnet

Anynet

block di:

di:每个 stage 的block个数
wi:block 的宽度
gi: block 的分组数
bi:瓶颈率（bottleneck ratio）

RNN循环神经网络

LSTM

双向RNN

transformer位置编码

自监督