卷积自编码器中注意机制和使用线性模型进行超参数分析

新神经网络架构设计的最新进展之一是注意力模块的引入。首次出现在在NLP 上的注意力背后的主要思想是为数据的重要部分添加权重。在卷积神经网络的情况下，第一个注意机制是在卷积块注意模型中提出的。其中注意机制分为两个部分:通道注意模块和空间注意模块。

空间注意模块通过将图像分解为两个通道，即最大池化和跨通道的平均池化来创建特征空间的掩码。这一层是卷积层的输入，卷积层只应用一个保持与输入相同大小的滤波器。然后使用sigmoid激活创建从0到1的激活映射。生成的新的映射会按比例缩放输入，它通过缩放输入增强空间特征。

上面代码创建了自编码器的主体，并通过在其间添加采样层，我们就可以定义变分自编码器。使用 MNIST 数据集训练模型样本可以得到下面类似的结果。

已经定义了神经网络的架构，下面就是评估其他超参数。随着超参数数量的增加，搜索空间的复杂性也随之增加。如果没有明显的差异，许多不同类型的参数组合可能会使解释变得困难。为了规避所有这些问题的一种简单方法是将简单的线性模型应用于在不同设置下训练的模型的性能数据。

完整文章

https://www.overfit.cn/post/9b6ad21ffacb47699450d795d30ee128