Class-Incremental Learning with Generative Classifiers(CVPR2021W)

前置知识：VAE（可以参考https://zhuanlan.zhihu.com/p/348498294）

Motivation

之前的方法通常使用判别式分类器，对条件分布 $p(y|\textbf{x})$ 进行建模（classifier+softmax+ce）。其问题在于分类器会偏向最新学的类别，导致灾难性遗忘。

本文使用生成式分类器对联合概率分布 $p(\textbf{x}, y)$ 进行建模（分解为 $p(\textbf{x}|y)p(y)$ ），并使用贝叶斯法则进行分类。

$p(y)$ ：整个样本空间中，标签为y的样本的比例。

为什么有效： $p(\textbf{x}|y)$ 不会因为新的数据流产生偏差，仅有 $p(y)$ 的分布会发生变化，而每个类别的样本数是可以统计的，或者可以假定所有标签有相同的先验概率（直接使用均匀分布建模 $p(y)$ ）。

将class incremental learning转化为task incremental learning，每个task相当于为每个标签y学一个类别条件生成模型。

Method

作者使用VAE作为每个类别要学习的生成式分类器，通过重要性采样估计似然 $p(\textbf{x}|y)$ ，使用均匀分布建模 $p(y)$ 。

VAE包含一个encoder $q_{\phi}$ ，将输入变为隐空间的后验分布 $q_{\phi}(\textbf{z}|\textbf{x})$ ，decoder $p_{\theta}$ 通过隐变量 $z$ 得到输入空间的 $p_{\theta}(\textbf{x}|\textbf{z})$ ，还包含先验分布 $p_{prior}(\textbf{z})$ ，其中encoder和decoder均使用神经网络：

优化目标：ELBO（evidence lower bound）

为了计算似然 $p(\textbf{x}|y)$ ，作者使用了重要性采样（注意这里的VAE是针对某一个特定的类别y）：

S代表采样样本数， $z^{(s)}$ 代表第s个从 $q_{\phi_y}(\textbf{z}|\textbf{x})$ 采样出的样本。
基于贝叶斯定理 $p(y|\textbf{x})\propto p(\textbf{x}|y)p(y)$ ，分类过程表示为：

最后一步是由于本文直接使用均匀分布建模 $p(y)$ ，保证了泛化性。