Latent Space 隐空间zz

If I have to describe latent space in one sentence, it simply means a representation of compressed data.

隐空间(Latent Space)

 

隐空间是 压缩数据的一个表示。隐空间的作用是为了找到 模式(pattern) 而学习数据特征并且简化数据表示。

数据压缩 指用比原来表示更少的比特对信息进行编码。比如将一个19维的数据降到9维。

数据压缩的目的是学习数据中较重要的信息。以编码器-解码器网络为例，首先使用全卷积神经网(FCN)络学习图片特征，我们将特征提取中对数据的降维看作一种 有损压缩。但是由于解码器需要 重建(reconstruct)数据，所以模型必须学习如何 储存所有相关信息 并且 忽略噪音。所以压缩（降维）的好处在于可以去掉多余的信息从而关注于最关键的特征。

这种压缩后的状态就是数据的 隐空间表示。

 

 

隐空间特征

因为在隐空间中，相似样本之间特征差别作为多余信息被移除了，只有其核心特征被保留。所以当将数据点映射到隐空间后，特征相似的点距离更近。

下图将三维数据映射到了二维隐空间，隐空间内相似样本更加靠近。三维以上的隐空间很难可视化。但可以通过t-SNE降维至二维或者三维进行展示。

 

 

自动编码器和生成模型

自动编码器一种基于 数据在隐空间的距离 训练的网络模型，其目标是输出和输入数据类似的内容，类似于一个恒等函数。下图红色部分即为隐空间。模型首先将数据相关特征储存在压缩表示中，然后准确地重建表示；即先从数据空间映射到隐空间，再从隐空间映射到数据空间。

 

 

通过编码器，我们可以通过在隐空间 插值(interplotation) 来生成新样本。

参考博客：https://towardsdatascience.com/understanding-latent-space-in-machine-learning-de5a7c687d8d#:~:text=The%20latent%20space%20is%20simply,representations%20of%20data%20for%20analysis.

[^ 1 ]: Mukherjee, S., Asnani, H., Lin, E., & Kannan, S. (2019). ClusterGAN: Latent Space Clustering in Generative Adversarial Networks. Proceedings of the AAAI Conference on Artificial Intelligence, 33(01), 4610-4617. https://doi.org/10.1609/aaai.v33i01.33014610 [^ 2 ]: Haarnoja, T., Hartikainen, K., Abbeel, P. & Levine, S.. (2018). Latent Space Policies for Hierarchical Reinforcement Learning. Proceedings of the 35th International Conference on Machine Learning, in Proceedings of Machine Learning Research 80:1851-1860 Available from http://proceedings.mlr.press/v80/haarnoja18a.html.