摘要：
1、diffface：任务是原来的脸xsrc不怎么变，就背景变成 xtarget 的背景，但是脸上的神情要和 xtarget 新脸的神情类似，更重要的是人还是同一个人xsrc 训练ddpm方面： 采用基于id的 ddpm，即在epsθ(xt,t)里面加入了脸的 id 向量vid（通过预训练好的模型D 阅读全文
摘要：
1、sde角度看ddpm sde 将 ddpm 中的时间连续化，定义前向过程的sde： 反向过程的sde： 再定义扩散过程的 p(xt|x0) 分布 对下面公式左右应用待定系数法，并假设 ft(xt) = ft*x 可以求出ft，gt 和 构造神经网络sθ逼近∇log，等价于epsθ逼近eps，从而 阅读全文
摘要：
accelerate多卡训练： accelerate config accelerate launch --num_processes=2 train_ins_ipa_inpainting_facemodel_blip.py overleaf插入公式： \begin{align} 公式 \end{a 阅读全文
摘要：
模型：cpmbee lightweight fine-tuning：冻结模型的大部分参数，只训练一小部分（可以插入一个任务层，训练任务层的参数） 阅读全文
摘要：
0、beit vision Transform 用 dvae 做图像的编码和解码 dvae： 1、beit2 linear probe ： 通过将最后一层替换成线性层，并只训练该线性层 vqkd： 如果仅仅 evaluate，则算完 cluster_size 之后，上面的（更新codebook）就不 阅读全文
摘要：
Transformer生成的各个词向量具有各项异性问题（anisotropic，representation degeneration problem），即词向量都聚集在一个狭小的锥形空间，任何两个词都具备相似度，这个可以通过对词向量矩阵做低秩近似到2维平面可以看出来（即将向量映射到二维），此处的低 阅读全文
摘要：
1、AGPC 针对一篇博客，可以根据用户画像个性化输出用户的评论 数据集格式：1个博客，该博客下的所有评论，评论由评论内容和评论者的信息组成 e(x1)...e(xn)：博客的分词+id映射+embeding e(d1)...e(dn)：用户个人介绍（比如个性签名）的分词+id映射+embeding 阅读全文
摘要：
【JS散度】 由于KL散度的不对称性问题使得在训练过程中可能存在一些问题，在KL散度基础上引入了JS散度，JS散度是对称的，其取值是 0 到 1 之间。如果两个分布 P,Q 离得很远，完全没有重叠的时候，那么JS散度值是一个常数（ log2），此时梯度消失（为0）。JS散度越小，2个分布越相似 JS 阅读全文
摘要：
图像分割（语义分割是像素分类，实例分割还要分类后区分不同个体） 【unet】 本质是像素点的多分类，深度不深，用于检测小物体，如细胞，下图灰色箭头表示 跳跃连接 skip-connection，通过 concatenate 特征融合，卷积结构统一为 3x3 的卷积核，padding 为 0 ，str 阅读全文
摘要：
一阶段模型（yolo系列） 【yolo1】 1、图像归一化为448x448x3，先通过Googlenet： inception（也称GoogLeNet）是2014年提出的，由多个下图的 inception模块串联，感觉是spp的前身，1*1卷积可以视为对单个像素的全连接运算，提升了非线性能力，多个分 阅读全文