通过渐进式混合语境扩散完成Amodal

通过渐进式混合语境扩散完成Amodal

即使部分隐藏在视线之外，大脑也能毫不费力地识别物体。看到隐藏的可见物被称为amodal完成；然而，尽管进展迅速，但这项任务对生成式人工智能来说仍然是一个挑战。建议避开现有方法的许多困难，这些方法通常涉及预测amodal掩模然后生成像素的两步过程。方法涉及跳出思维定势，真的！走出对象边界框，使用其上下文来指导预训练的扩散修复模型，然后逐步生长被遮挡的对象并修剪额外的背景。克服了两个技术挑战：1）如何避免不必要的共现偏差，这往往会使类似的封堵器再生，2）如何判断amodal完成是否成功。在许多成功的完井案例中，与现有方法相比，amodal完井方法显示出更高的真实感完井结果。最好的部分呢？它不需要任何特殊的训练或对模型进行快速调整。

新方法可以恢复不同图像中对象的隐藏像素，如图3-12所示。

 

图3-12 新方法可以恢复不同图像中对象的隐藏像素

在图3-12中，遮挡物可能是同时发生的（冲浪板上的人）、意外发生的（微波炉前的猫）、图像边界（长颈鹿）或这些情况的组合。

渐进式闭塞感知完管道，如图3-13所示。

 

图3-13 渐进式闭塞感知完管道

在图3-13中，第一次迭代：执行实例分割并分析对象掩码以确定遮挡物。如果查询对象接触到图像边界，则填充图像和掩码，以使对象在这些方向上完成边界之外的操作。使用此输入包，运行混合上下文扩散采样以获得新的amodal完成图像。接下来，检查生成的对象是否有新的遮挡物或是否接触到图像边界。原始图像中的男子看起来像一个以前未被发现的新封堵器。附加迭代：如果查询对象仍然被遮挡，那么将运行管道的附加迭代。

输出：返回最终的amodal完成图像和amodal选框的外部，可以修剪额外的背景以覆盖在原始图像上。

混合上下文（MC）扩散采样，如图3-14所示。

 

图3-4 混合上下文（MC）扩散采样

在图3-4中，1）交换背景（红色）：使用

 

创建

 

来替换

 

的背景，然后扩散修复到第k个时间步，得到

 

。2）创建对象移除背景图像（蓝色）：使用移除修复器从

 

中移除查询对象和遮挡物，然后将噪声添加到第

 

个时间步，产生

 

。3）在嘈杂图像中分割对象（绿色）：从

 

中提取扩散特征，对其进行聚类，并通过与

 

对齐，在第

 

个时间步选择查询对象的amodal掩码

 

。4） 复合（紫色）：使用

 

将

 

中的查询对象放置在去除对象的背景图像

 

上。最终图像

 

是通过完成剩余的

 

个扩散步骤获得的，其中

 

是总步骤数。右上角：如果删除此MC