零样本学习（Zero-shot Learning, ZSL）背景知识

零样本度量学习（Zero-Shot Learning, ZSL）——背景

训练阶段：

• 已知条件

  • 训练样本：$X=\{x_i|i=1,\cdots ,N\}$，
  • 训练样本的标签：$Y=\{y_i|i=1,\cdots ,C\}$，
  • 所有类别的side information (SI)：$S=\{s_c|c=1,\cdots ,C\}$,
    P.S.，根据我的理解，$Y$和$S$为一一对应关系。

• 前传过程

  • $x_i\to D^x\to f_i$: 样本进入样本嵌入模型，输出样本嵌入
  • $S\to D^s\to F^s$: SI进入语义嵌入模型，输出语义嵌入

• 计算损失

  • 计算score:

    $O_i=(f_i{)}^{T}W{F}^s\in {\mathbb{R}}^{C\times 1}$，

    P.S., 这里$W$可能是需要训练的，也可以是对角矩阵计算欧式距离

  • 根据score得到预测标签，再与真实标签对比计算损失

• 训练目标

  • 样本嵌入模型：$D^x$
  • 语义嵌入模型：$D^s$
  • 以上两个嵌入之间的度量矩阵：$W$

测试阶段

• 已知条件

  • 测试样本：$\hat{X}$,
  • 所有测试类别的SI： $\hat{S}=\{{\hat{s}}_c|c=1,\cdots ,\hat{C}\}$

• 前传过程

  • $\widehat{x_i}\to D^x\to \widehat{f_i}$
  • $\hat{S}\to D^s\to \widehat{F^s}$

• 测试目标：得到预测标签 $Y^p$

  • 首先计算score
    ${\hat{O}}_i=({\widehat{f_i)}}^{T}W\widehat{F^s}\in {\mathbb{R}}^{\hat{C}\times 1}$

  • 然后进行score rank，score最大对应的类别为预测标签

性能评价阶段

• 已知条件

  • 测试样本的预测标签：$Y^p$，
  • 测试样本的真实标签：$\hat{Y}$，
  • 评价指标函数：$M(\cdot ,\cdot )$

• 计算评价指标

  • $M(Y^p,\hat{Y})$

区分ZSL 和 Generalized ZSL (GZSL)

给定训练集 $T=(x\in X,y\in Y)$, 测试集 $E=(\hat{x}\in \hat{X},\hat{y}\in \hat{Y})$

• ZSL: $Y\cap \hat{Y}=\mathrm{\varnothing }$
• GZSL: $Y\subset \hat{Y}$, testing instance could belong to either seen or unseen categories

常用数据集

• AWA：40类样本（～24700个）训练，10类（～6200个）测试
• CUB：150类样本（～8900个）训练，50类（～2900个）测试
  P.S. 以上两个数据集的划分来源于论文ALE

基础的开源项目

• 评价ZSL模型

一些好的综述 （读过）

• Recent Advances in Zero-Shot Recognition
• Zero-Shot Learning—A Comprehensive Evaluation of the Good, the Bad, and the Ugly
• Knowledge-aware Zero-Shot Learning: Survey and Perspective