论文阅读笔记High-Resolution Image Inpainting using Multi-Scale Neural Patch Synthesis

论文题目：基于多尺度神经块合成的高分辨率图像修复

用bounding box的问题：

虽然边界框有助于定位实例位置和提取实例视觉特征，但它们也阻止了SimsG[6]实现更多功能，因为应提供场景图中所有节点的边界框。例如，如果一个人想添加一些东西，SIMSG[6]无法实现，因为不会提供添加的东西的边界框。此外，在SIMSG[6]的第二部分中，将使用边界框删除被操纵实例的特征。但是，一个实例的边界框通常包含其他不相关的信息，如background。因此，其他不相关信息的视觉特征也将被删除，并且很难重新绘制。换句话说，边界框级别的操作过于粗糙，无法实现高视觉质量

一、contribution

1） 我们提出了一种新的无边界盒方法，该方法自然生成被操纵的实例，同时最大程度地保留原始图像的瞬时无关信息。

2）我们的方法是第一个实现全功能图像操纵的方法，包括重新移动、重新定位、替换和添加图像中的实例。它通过修改场景图来提高语义级图像处理的适应性

3） 定量和定性实验Visual Genome and COCO-Stuff 数据集上都广泛进行。实验结果表明，该方法明显优于现有方法。

 二、method

the method is composed of two parts:

1)Local-BBox-Free Mask Generation, to synthesize masks M𝑦 of instances that are modified (added, replaced, reposited, removed); 

2)Global-BBox-Free Instance Generation, to generate instances conditioned on(以...为条件) the generated masks, and compose the instances with the residual（剩余的） image to render（渲染） the final manipulated image. 

三、evaluation metric

we evaluate reconstruction results using classic reconstruction metrics,including the mean absolute error (MAE), structural similarity index(SSIM) and perceptual error (LPIPS) . To further evaluate theimage quality in the feature-level, we adopt the FID metric 

选择SIMSG（sota）作为竞争对手