paper169:2020CVPR文章解读：nestedVAE:Isolating common facters via weak supervision

初稿理解~~

要点总结：

1、基础思想

    1）现存深度模型对数据的敏感度、稳定性或者鲁棒性要求大，且不具备明确的可解释性。

    2）本文考虑的关键内容是实现模型减小对数据的敏感度，从而抓住数据的重要特征。

    3）本文对同一类别不同类型的数据进行采集，利用变分式自编码器原理中潜在的变量所处的空间进行获取分析，即：nestedVAE(巢状自编码器)通过对来自不同角度，不同domain的数据，得到共同潜在的变量。这个潜在变量是来自自编码器本身，从而降低模型对数据的敏感度，从而提升模型对来自不同角度数据的识别准确性。

    4）变分：统计相关的概率分布，自编码器：通过编码器对数据降维，通过解码器进行升维，是表示学习的一部分。对一个数据，如何去描述他，理论思想认为数据是存在于流行空间的，流行就是指数据在低维和高维之间存在变换的，可增可降。由于低维和高维之间不是一一确认的，所以就需要潜在的变量进行限制。由于是概率分布，不需要准确知道这个潜在的变量的值是多少。变分式自编码器就在于如何引入这种不确定性，同时又能引入这种约束，能够生成低维到高维更加灵活的投影数据。例如：图像的低分辨率到高分辨率，视频的插帧补帧等都属于生成模型，或者变分式自编码器这样的表述。

 2、动机（motivation）

     1）同一类别不同角度的数据，受采集或其他的影响，会有一种外在的不同表征。本文提出了nestedVAE(巢状变分式自编码器)来找到共同的潜在的变量，使用了变分中的KL散度，信息瓶颈理论（两年前文章，试图从信息熵的角度来解释）等来捕获潜在变量的空间，从而确定了该命题和定义。

     2）从文章看出，一个模型不需要对一种任务或者一种采集数据去训练一种专用模型，可以具备更好的泛化性。（方法）

3、Comments

     1）本文的初衷是非常好的，在一定程度上也缓和神经网络模型对数据的敏感性的限制，但是

，也考虑到本文的变分式自编码器，其中latent是可以因子化的，参数化进行表征，例如正态分布或者高斯分布，这种潜在变量进行分布化。我们认为潜在特征都是独立的，而这种假设就牺牲了这种独立性。

    2）性能上，一定程度克服数据敏感度的。但是理论框架上还需要重新讨论。

     3）基于变分式自编码器的限制还是比较大的，我们希望可以把这种不是变分式自编码器的模型中去，