Natural Image Reconstruction from fMRI using Deep Learning: A Survey
Natural Image Reconstruction from fMRI using Deep Learning: A Survey
Zarina Rakhimberdina 1,3, Quentin Jodelet 1,3, Xin Liu 2,3,∗, Tsuyoshi Murata 1,3
一句话概括：介绍了各种自然图像重构方法（生成模型和非生成模型）以及评价指标，并提出了综合评价各模型的方法。
介绍
fMRI信号，引出的大领域：人类视觉解码（human visual decoding），此问题下的任务包括
-
刺激图像分类
-
刺激图像识别
-
图像重构（最具挑战性）
意义：理解人脑视觉处理机制；脑机接口；
图像重构任务的细分：
-
低层次图像重构
非常简单的信号
-
稍复杂图像重构
字母、数字
-
自然图像重构（Natural image reconstruction）
这篇文章贡献是提出了标准化对重构质量进行评估的流程，并对当时一些表现较好的方法进行了评估
基准数据集
目前新的一个数据集是NSD（2021），数据量更大，采集设备更先进，fMRI空间分辨率更高
基于深度学习的自然图像重构方法
非生成模型
生成模型
评估指标
基于手动的评估指标非常耗时，且易受外界环境的影响，评估人主观影响较大，后面的论文实现中逐渐消失了。
传统评估
MSE
把图像按照像素展成一个向量，优点是简单、计算速度快，缺点是认为每个像素点都是独立的，且每一个像素点的贡献度相同（一个图像构成主体的像素点肯定更为重要，但MSE不符合这样的直觉）。
PCC
目前比较常见的评估指标，缺点是The limitation of PCC is its sensitivity to changes in the edge intensity or edge misalignment. Thus, the metric tends to assign higher scores to blurry images than to images with distinguishable but misaligned shapes （对模糊的图像评分比较高）
SSIM
主要被用于评估重构图像的结构性信息，综合考虑3个指标：亮度、对比度和结构。考虑图像中的一个局部，不再将像素点当作是独立的
基于DNN的评估
PSM
公式没看懂
讨论
自然图像重构这个任务需要在自然性（naturalness ）和保真度（fidelity ）两个方面做权衡，基于生成模型的方法重构的图像看起来更自然一些，但会加入很多额外的东西，导致重构图像不太遵从原始图像。另一方面，基于非生成模型的方法尽可能地保证重构图像和原始图像在细节上相近，但牺牲了重构图像的自然性。
未来方向
-
大规模的数据
现在已经有了：NSD
-
依据人类视觉提出新的相似度指标
