稀疏自编码器一览表

以下是我们在推导sparse autoencoder时使用的符号一览表：

符号 含义
\textstyle x 训练样本的输入特征，\textstyle x \in \Re^{n}.
\textstyle y 输出值/目标值. 这里 \textstyle y 能够是向量. 在autoencoder中。\textstyle y=x.
\textstyle (x^{(i)}, y^{(i)}) 第 \textstyle i 个训练样本
\textstyle h_{W,b}(x) 输入为 \textstyle x 时的如果输出，当中包括參数 \textstyle W,b. 该输出应当与目标值 \textstyle y 具有同样的维数.
\textstyle W^{(l)}_{ij} 连接第 \textstyle l 层 \textstyle j 单元和第 \textstyle l+1 层 \textstyle i 单元的參数.
\textstyle b^{(l)}_{i} 第 \textstyle l+1 层 \textstyle i 单元的偏置项. 也能够看作是连接第 \textstyle l 层偏置单元和第 \textstyle l+1 层 \textstyle i 单元的參数.
\textstyle \theta 參数向量. 能够觉得该向量是通过将參数 \textstyle W,b 组合展开为一个长的列向量而得到.
\textstyle a^{(l)}_i 网络中第 \textstyle l 层 \textstyle i 单元的激活（输出）值.

另外，因为 \textstyle L_1 层是输入层，所以 \textstyle a^{(1)}_i = x_i.
\textstyle f(\cdot) 激活函数. 本文中我们使用 \textstyle f(z) = \tanh(z).
\textstyle z^{(l)}_i 第 \textstyle l 层 \textstyle i 单元全部输入的加权和. 因此有 \textstyle a^{(l)}_i = f(z^{(l)}_i).
\textstyle \alpha 学习率
\textstyle s_l 第 \textstyle l 层的单元数目（不包括偏置单元）.
\textstyle n_l 网络中的层数. 通常 \textstyle L_1 层是输入层，\textstyle L_{n_l} 层是输出层.
\textstyle \lambda 权重衰减系数.
\textstyle \hat{x} 对于一个autoencoder，该符号表示其输出值；亦即输入值 \textstyle x 的重构值. 与 \textstyle h_{W,b}(x) 含义同样.
\textstyle \rho 稀疏值，能够用它指定我们所需的稀疏程度
\textstyle \hat\rho_i （sparse autoencoder中）隐藏单元 \textstyle i 的平均激活值.
\textstyle \beta （sparse autoencoder目标函数中）稀疏值惩处项的权重.
posted @ 2017-08-21 12:45  wzzkaifa  阅读(694)  评论(0)  编辑  收藏  举报