【五期杨志】CCF-A (KDD'20) Multimodal Learning with Incomplete Modalities by Knowledge Distillation

Wang Q, Zhan L, Thompson P, et al. Multimodal learning with incomplete modalities by knowledge distillation[C]//Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2020: 1828-1838.

  这篇论文针对在现实中绝大部分的多模态数据都是不完整的问题。现有的解决方法，一是只用那些少部分完整的多模态数据，丢弃不完整的，这样会造成大量数据资源的浪费；二是用已有的模态来预测缺失的模态，然后再一起训练新模型，但这样会产生噪声和误差，因为无法确保预测的那部分模态的准确性，用质量差的数据训练出的模型效果也会不好。

  作者的解决方案是先分别对每个模态进行训练，然后再用这些单模态模型共同训练出一个多模态模型，这样就融合了来自多种模态的补充信息，即基于知识蒸馏的思想。（举个例子，原先是让一个老师来教所有课程，但实际上这个老师并不是都很擅长，就造成学生在学某些课程时的效果不好。现在是让多个老师只负责讲自己擅长的课程，这样学生学这些课程的时候效果会好些。）

  这篇论文的优势在于：①既没有丢弃不完整模态数据，也没有预测模态，从而能够充分利用所有模态的信息，并且没有增加噪声，降低了未知的风险；②通过分层的方式来训练教师模型的，先用训练得到的多个单模态模型训练双模态模型，然后再用多个双模态模型训练三模态模型，以此类推，这样可能会更有利于不同模态特征信息的集成；③在教师模型训练过程中提出了一个修剪策略，每次只挑选效果好的一些教师模型来进行下一轮的教师训练，最后剩下来的都是优秀的教师模型，不仅可以减少每轮迭代的计算量，还可以提高学生模型最终学习的效果。

  但是如果模态种类和数量较多时，每次训练这么多教师模型会不会造成信息冗余，增加复杂度和计算量，比如训练的两个双模态教师模型效果都很好相差无几，都被保留下来了，然后再用这两个教师模型训练学生模型，是不是和选取其中一个训练的效果差不多，也就是多一定比少好吗。就好比视频网络在处理图像时，网络膨胀通过重复帧数获取静态视频，其实提取的都是些重复特征信息，无疑大大增加了计算量，而网络通缩从时间维度处理，直接处理单帧图片，也一样能达到同样的效果，并且效率还要高一个数量级。

2022年11月25日