随笔分类 - 论文阅读笔记
摘要:图像修复(Image inpainting or Image complete )的目的是在给定一个mask的情况下,填充缺失区域的像素,使其整体达到纹理和结构一致性,或者语义和视觉可信。其应用范围十分广泛,如图像复原,图像编辑,图像去噪。图像修复本身就是一个高度病态问题,修复过程带有高度的主观性,
阅读全文
摘要:GAN inversion:is to obtain the ‘real’ images’ latent codes and perform some subsequent image processing tasks by manipulating the latent codes in the
阅读全文
摘要:combine CLIP with StyleGAN 一.introduction and related work 1、CLIP主要完成的任务是:给定一幅图像,在32768个随机抽取的文本片段中,找到能匹配的那个文本。为了完成这个任务,CLIP这个模型需要学习识别图像中各种视觉概念,并将视觉概念将
阅读全文
摘要:论文题目:应用于图像和视频解纠缠面部编辑的潜在转换器 一、introduction and related work(记了一些关键语句) (1)研究表明,在生成模型的潜在空间中,沿特定方向移动潜在代码可以导致相应生成图像中视觉属性的不变性。 (2)Firstly, successful manipu
阅读全文
摘要:贡献:提出了一种新的无边界盒的方法,该方法由两部分组成: a local bounding box free mask generation and a global bounding box free instance generation 局部无边界盒掩码生成和全局无边界盒实例生成。 模型中两个
阅读全文
摘要:a commonly used subjective metric is to use the Amazon Mechanical Turk (AMT) that hires humans to score synthetic and real images according to how rea
阅读全文
摘要:网络的结构仿照Cycle-GAN的设置,使用两层步长为2的卷积层进行下采样(降维),6个残差块连接,然后使用两层步长为2的卷积层进行上采样。生成器使用了实例归一化,但是判别器没有用正则化。判别器网络文中使用的是patch-GAN。 文中在每一层都使用了实例归一化,除了最后的输出层。 分类器的激活函数
阅读全文
摘要:一、contributions StyleGAN,提出了一个新的 generator architecture,号称能够控制所生成图像的高层级属性(high-level attributes),如 发型、雀斑等;并且生成的图像在一些评价标准上得分更好;同时随论文开源了一个高质量数据集:FFHQ, 包
阅读全文
摘要:论文题目:基于潜意识的真实图像编辑的关键性调整(基于stylegan进行的调整) 一、contributions 在本文中,我们介绍了一种新的方法,以减轻失真编辑性的权衡,使其在真实图像上的分布。 论点:对于一个编辑任务,对于真实图片的映射到隐层空间后已经out of domain,导致生成的图片会
阅读全文
摘要:所提出网络框架: 目标是使用编码器将图像实时准确地投影到潜在空间,并在潜在空间上局部操作图像 用GAN编辑真实图像的缺点是:i)耗时的优化,无法将真实图像投影到潜矢量; ii)或通过编码器嵌入不准确。 我们提出StyleMapGAN:中间潜在空间具有空间维度,而空间变异调制取代了AdaIN。与现有的
阅读全文
摘要:一、contributions (1)我们分析了StyleGAN的复杂latent space,并对其结构提出了新的看法。 (2)我们展示了distortion扭曲(失真、歪曲、变形)、感知perception和可编辑性editability之间固有的权衡。 (3)我们描述了这些权衡,并设计了两种编
阅读全文
摘要:自动编码器和生成模型:自动编码器一种基于 数据在隐空间的距离 训练的网络模型,其目标是输出和输入数据类似的内容,类似于一个恒等函数。上图红色部分即为隐空间。模型首先将数据相关特征储存在压缩表示中,然后准确地重建表示;即先从数据空间映射到隐空间,再从隐空间映射到数据空间。 If I have to d
阅读全文
摘要:这篇论文提出了一个概念叫做“图像免疫”,意思是对图像进行一定的变换,让它能够在被篡改后可以定位得到它的被篡改位置,并可以恢复出原始图像信息 最近几年有很多利用深度学习的图像恢复技术,例如基于GAN inversion的图像重构、image inpainting等等,取得了很不错的效果。但是,基于此类
阅读全文
摘要:一、contributions (1)我们提出了一种结合GAN反转和循环一致性训练的新颖GAN方法,用于文本到图像的合成。统一的框架可用于文本图像生成和基于文本的图像处理任务。 (2)我们使用改进的GAN反转方法和循环一致性训练,将真实图像反转到GAN最新空间,并获得图像的潜在代码 (3)我们unc
阅读全文
摘要:auto-encoder里面就是有一个encoder,output一个向量,有时候我们叫这个向量为embedding、latent representation、latent code。 有一个decoder,把向量还原为图像
阅读全文
摘要:Cycle-consistency这种简洁的思想能在各种无监督任务上得到应用。 链接:https://zhuanlan.zhihu.com/p/70592331
阅读全文
摘要:一、contribution (1)我们开发了一种多隐藏空间感知(MHSP)损失模型,该模型可以提取更适合和多样化的语义知识边缘用于图像修复任务。 (2)我们提出了一种自适应迭代推理(AIR)模块,该模块不仅保留了处理大孔洞的能力,同时也避免了对小孔的冗余计算。 (3)我们注意到,在高饱和度下,色差
阅读全文
摘要:返回范围内的一个数值。可以使用 clamp 函数将不断增加、减小或随机变化的数值限制在一系列的值中。float clamp(float minnumber, float maxnumber, float parameter)最小数值和最大数值指定返回值的范围。参数是值要钳制在范围内的属性或变量。如果
阅读全文
摘要:ALMR对抗式学习框架 一、contribution (1)我们提出了一个基于mask reconstruction(ALMR)的对抗式学习框架,用于文本引导的图像修复,该框架充分利用图像中的对象语义和文本描述。 (2)我们设计了一个双重注意力模块(DAM),将单词级和句子级的文本特征注入图像恢复网
阅读全文
摘要:论文题目:基于多尺度神经块合成的高分辨率图像修复 用bounding box的问题: 虽然边界框有助于定位实例位置和提取实例视觉特征,但它们也阻止了SimsG[6]实现更多功能,因为应提供场景图中所有节点的边界框。例如,如果一个人想添加一些东西,SIMSG[6]无法实现,因为不会提供添加的东西的边界
阅读全文