11 2021 档案
摘要:https://en.wikipedia.org/wiki/Bias%E2%80%93variance_tradeoff
阅读全文
摘要:GAN inversion:is to obtain the ‘real’ images’ latent codes and perform some subsequent image processing tasks by manipulating the latent codes in the
阅读全文
摘要:combine CLIP with StyleGAN 一.introduction and related work 1、CLIP主要完成的任务是:给定一幅图像,在32768个随机抽取的文本片段中,找到能匹配的那个文本。为了完成这个任务,CLIP这个模型需要学习识别图像中各种视觉概念,并将视觉概念将
阅读全文
摘要:论文题目:应用于图像和视频解纠缠面部编辑的潜在转换器 一、introduction and related work(记了一些关键语句) (1)研究表明,在生成模型的潜在空间中,沿特定方向移动潜在代码可以导致相应生成图像中视觉属性的不变性。 (2)Firstly, successful manipu
阅读全文
摘要:贡献:提出了一种新的无边界盒的方法,该方法由两部分组成: a local bounding box free mask generation and a global bounding box free instance generation 局部无边界盒掩码生成和全局无边界盒实例生成。 模型中两个
阅读全文
摘要:a commonly used subjective metric is to use the Amazon Mechanical Turk (AMT) that hires humans to score synthetic and real images according to how rea
阅读全文
摘要:Image manipulation is a key computer vision task, aiming at: 1、the restoration of degraded image content 图像退化修复 Image Restoration is a family of inver
阅读全文
摘要:网络的结构仿照Cycle-GAN的设置,使用两层步长为2的卷积层进行下采样(降维),6个残差块连接,然后使用两层步长为2的卷积层进行上采样。生成器使用了实例归一化,但是判别器没有用正则化。判别器网络文中使用的是patch-GAN。 文中在每一层都使用了实例归一化,除了最后的输出层。 分类器的激活函数
阅读全文
摘要:调研内容 (natural pictures, scanned documents) 1. state-of-the-art on digital image manipulation 2. Evaluation criteria (quantitative / qualitative) 一、ima
阅读全文
摘要:一、BRISQUE https://blog.csdn.net/ouxiaoyang5/article/details/89017473?spm=1001.2101.3001.6650.13&utm_medium=distribute.pc_relevant.none-task-blog-2%7Ed
阅读全文
摘要:https://www.jianshu.com/p/9ee85fdad150
阅读全文
摘要:随着单一图像超分辨率的研究的深入,单一图像超分辨率的研究分为两个分支。其中之一是以psnr与ssim值为评价标准,另一个则是以pi值为评价标准。pi值代表的是一幅图像的主观感知质量,往往pi值越低,图像看起来就更加舒服。pi值越低,则图像的感知质量越好。这与psnr值是相反的。pi值也被用于2018
阅读全文
摘要:关于全参考比较详细的内容链接:https://zhuanlan.zhihu.com/p/24804170 目前针对有真实参考的图像生成任务,主要有三种评价指标,包括两种简单的人为设计的SSIM和PSNR,也包括深度学习网络抽取到的特征进行对比的LPIPS评价指标(这篇笔记中还写到了MSSIS) 一、
阅读全文
摘要:很详细的综述:https://blog.csdn.net/qq_23304241/article/details/80953613 什么是图像质量评估(IQA)? 图像质量评估(IQA)算法将任意图像作为输入,并输出质量分数作为输出。有三种类型的IQA: 全参考IQA: 有一个非失真的参考图像来测量
阅读全文
摘要:图像质量评价(Image Quality Assessment) 图像修复的难点之一是质量评估。其主要原因是主观评价的模糊性和获取培训数据的成本。由于前面讨论的问题,虽然对退化图像提出了许多有效的IQA方法,例如腐蚀、压缩或噪声图像,但这些方法不能用于评估修复图像。为了克服前面问题,获得主观评价,主
阅读全文
摘要:当我们非常仔细地观察神经网络生成的图像时,经常会看到一些奇怪的棋盘格子状的伪影(artifact)。这种现象有些情况下比其他情况更明显,但最近的模型很多都会出现这种现象。 出现的原因:当我们用神经网络生成图像时,我们经常从低分辨率、高阶描述中构建图像。这会让网络先描绘粗糙的图像,再填充细节。 因此,
阅读全文
摘要:其实仿射变换是投影变换的一种特殊形式,在图像处理中,大部分图像变换算法用仿射变换就可以得到不错的效果,并且数学意义比较明确易懂,因此仿射变换相对来说更常用一些。 首先从数学的角度,所谓仿射变换,就是向量经过一次线性变换加一次平移变换,用公式可以表示为: 对于一副图像,如果我们知道矩阵T,便可以对图像
阅读全文
摘要:一、contributions StyleGAN,提出了一个新的 generator architecture,号称能够控制所生成图像的高层级属性(high-level attributes),如 发型、雀斑等;并且生成的图像在一些评价标准上得分更好;同时随论文开源了一个高质量数据集:FFHQ, 包
阅读全文
摘要:论文题目:基于潜意识的真实图像编辑的关键性调整(基于stylegan进行的调整) 一、contributions 在本文中,我们介绍了一种新的方法,以减轻失真编辑性的权衡,使其在真实图像上的分布。 论点:对于一个编辑任务,对于真实图片的映射到隐层空间后已经out of domain,导致生成的图片会
阅读全文
摘要:所提出网络框架: 目标是使用编码器将图像实时准确地投影到潜在空间,并在潜在空间上局部操作图像 用GAN编辑真实图像的缺点是:i)耗时的优化,无法将真实图像投影到潜矢量; ii)或通过编码器嵌入不准确。 我们提出StyleMapGAN:中间潜在空间具有空间维度,而空间变异调制取代了AdaIN。与现有的
阅读全文
摘要:一、contributions (1)我们分析了StyleGAN的复杂latent space,并对其结构提出了新的看法。 (2)我们展示了distortion扭曲(失真、歪曲、变形)、感知perception和可编辑性editability之间固有的权衡。 (3)我们描述了这些权衡,并设计了两种编
阅读全文
摘要:自动编码器和生成模型:自动编码器一种基于 数据在隐空间的距离 训练的网络模型,其目标是输出和输入数据类似的内容,类似于一个恒等函数。上图红色部分即为隐空间。模型首先将数据相关特征储存在压缩表示中,然后准确地重建表示;即先从数据空间映射到隐空间,再从隐空间映射到数据空间。 If I have to d
阅读全文
摘要:这篇论文提出了一个概念叫做“图像免疫”,意思是对图像进行一定的变换,让它能够在被篡改后可以定位得到它的被篡改位置,并可以恢复出原始图像信息 最近几年有很多利用深度学习的图像恢复技术,例如基于GAN inversion的图像重构、image inpainting等等,取得了很不错的效果。但是,基于此类
阅读全文
摘要:一、contributions (1)我们提出了一种结合GAN反转和循环一致性训练的新颖GAN方法,用于文本到图像的合成。统一的框架可用于文本图像生成和基于文本的图像处理任务。 (2)我们使用改进的GAN反转方法和循环一致性训练,将真实图像反转到GAN最新空间,并获得图像的潜在代码 (3)我们unc
阅读全文
摘要:auto-encoder里面就是有一个encoder,output一个向量,有时候我们叫这个向量为embedding、latent representation、latent code。 有一个decoder,把向量还原为图像
阅读全文
摘要:Cycle-consistency这种简洁的思想能在各种无监督任务上得到应用。 链接:https://zhuanlan.zhihu.com/p/70592331
阅读全文
摘要:一、contribution (1)我们开发了一种多隐藏空间感知(MHSP)损失模型,该模型可以提取更适合和多样化的语义知识边缘用于图像修复任务。 (2)我们提出了一种自适应迭代推理(AIR)模块,该模块不仅保留了处理大孔洞的能力,同时也避免了对小孔的冗余计算。 (3)我们注意到,在高饱和度下,色差
阅读全文
摘要:返回范围内的一个数值。可以使用 clamp 函数将不断增加、减小或随机变化的数值限制在一系列的值中。float clamp(float minnumber, float maxnumber, float parameter)最小数值和最大数值指定返回值的范围。参数是值要钳制在范围内的属性或变量。如果
阅读全文
摘要:ALMR对抗式学习框架 一、contribution (1)我们提出了一个基于mask reconstruction(ALMR)的对抗式学习框架,用于文本引导的图像修复,该框架充分利用图像中的对象语义和文本描述。 (2)我们设计了一个双重注意力模块(DAM),将单词级和句子级的文本特征注入图像恢复网
阅读全文
摘要:论文题目:基于多尺度神经块合成的高分辨率图像修复 用bounding box的问题: 虽然边界框有助于定位实例位置和提取实例视觉特征,但它们也阻止了SimsG[6]实现更多功能,因为应提供场景图中所有节点的边界框。例如,如果一个人想添加一些东西,SIMSG[6]无法实现,因为不会提供添加的东西的边界
阅读全文
摘要:一、IS(inception score) 机器之心链接:https://www.jiqizhixin.com/articles/2019-01-10-18 很多关于 GAN 生成图片的论文中,作者评价其模型表现的一项重要指标是 Inception Score(下文简称 IS)。其名字中 Incep
阅读全文
摘要:一、contribution 提出了一种基于子图的场景图生成方法,该方法具有以下特点: (1)首先,提出了一种自底向上的聚类方法,将图像分解为子图。通过共享子图中的区域表示,我们的方法可以显著减少冗余计算并加快推理速度。此外,较少的表示允许我们使用二维特征图来维护子图区域的空间信息。 (2)其次,提
阅读全文
摘要:Adam 是一种可以替代传统随机梯度下降(SGD)过程的一阶优化算法,它能基于训练数据迭代地更新神经网络权重。Adam 最开始是由 OpenAI 的 Diederik Kingma 和多伦多大学的 Jimmy Ba 在提交到 2015 年 ICLR 论文(Adam: A Method for Sto
阅读全文
摘要:,本文的context Encoders需要填补一个大面积的缺失,不能从附近像素中获得提示,需要更深的语义理解,并需要在大空间范围内综合高级特征的能力。 context Encoders以完全无监督的方式训练。图像修复的任务本质上是一个multi-model,有多种方式填补缺失区域同时需要维持和给定
阅读全文
摘要:1、正确答案 2、真实值 3、正确的标注
阅读全文
摘要:1. Thing 事物,东西 ,(词义广泛) 例: What thing is that on the floor? 地板上是什么东西? The first thing to do is have dinner. 第一件事就是吃饭。 2. stuff 材料, 原料,(非正式, 不明事物)东西 例:
阅读全文
摘要:1、流程图: 2、通过用object layout network来预测分割掩码和每个物体的bounding box,从而计算出scene layout场景布局。mask regression network and box regression network 3、在这两个数据集上进行实验:Vis
阅读全文
摘要:什么是正则化?在机器学习中,我们非常关心模型的预测能力,即模型在新数据上的表现,而不希望过拟合现象的的发生,我们通常使用正则化(regularization)技术来防止过拟合情况。正则化是机器学习中通过显式的控制模型复杂度来避免模型过拟合、确保泛化能力的一种有效方式。如果将模型原始的假设空间比作“天
阅读全文
摘要:L1,L2以及Smooth L1是深度学习中常见的3种损失函数,这3个损失函数有各自的优缺点和适用场景。 https://blog.csdn.net/vv___/article/details/116396475?spm=1001.2101.3001.6650.1&utm_medium=distri
阅读全文
摘要:什么是深度学习里的Embedding? 这个概念在深度学习领域最原初的切入点是所谓的Manifold Hypothesis(流形假设)。流形假设是指“自然的原始数据是低维的流形嵌入于(embedded in)原始数据所在的高维空间”。那么,深度学习的任务就是把高维原始数据(图像,句子)映射到低维流形
阅读全文
摘要:主要包括谱归一化(Spectral Normalization)、截断技巧(Truncation Trick)和正交正则化(orthogonal regularization) 一、创新点: (一) 本文对网络结构进行了两个修改,改善了可扩展性(scalability);修改了正则化方法(regul
阅读全文
摘要:1、基于原图(source image),模型首先生成场景图,接下来用户对场景图进行修改,通过修改场景图来完成图像的语义编辑,最后模型根据修改的场景图生成新的图片。 2、不需要image对,目标就是通过给定用户一张图结构,用户通过更改节点关系,模型根据新的图结构与原图进行修改获得新图片。 3、给定一
阅读全文
摘要:维基百科 在人工智能(AI),尤其是机器学习(ML)领域,ablation 指移除AI系统的一个组件。 Ablation study 指通过研究AI系统移除某一组件之后的性能,来理解该组件对整个系统的作用。Ablation study 要求系统表现出适度退化(graceful degradation
阅读全文