04 2023 档案

摘要:先写自适应傅里叶神经算子(AFNO) 目的:AFNO这篇文章的标题和摘要前几句定调了一个基调,就是说AFNO这个东西提出来,是为了替换transformer里面的多头自注意力,作为一个更高效的token mixer出现 摘要: AFNO是基于运算符学习的原则性基础,它使我们能够将token mixi 阅读全文
posted @ 2023-04-28 22:19 诸葛村夫CC 阅读(422) 评论(0) 推荐(0) 编辑
摘要:这是一篇早期论文提到的fusion方法,有late early,所以自然就想到slow,但实际上结果差别不大,甚至还不如手工特征,可见特征工程重要性 这篇文章作者采用了一个早期的类注意力机制,人为强制的将图片中心裁剪出来进行识别,当然这是假设我们关心的对象大概率出现在图片中心 第二个工作就是双流网络 阅读全文
posted @ 2023-04-24 18:54 诸葛村夫CC 阅读(70) 评论(0) 推荐(0) 编辑
摘要:本文提出一个新的3D模型,以及一个大的视频数据(注意这是一篇2018年的文章了) 它告诉我们如何使用在2D领域中已经取得成功的网络如何扩展到3D,甚至是使用预训练好的参数 当时已经有很多视频数据集,但这些数据不是因为太大,普通玩家都玩不动,就是内容比较局限。所以作者利用这个机会提出了kinetic数 阅读全文
posted @ 2023-04-24 15:17 诸葛村夫CC 阅读(96) 评论(0) 推荐(0) 编辑
摘要:视频理解难点在于两处,一种是图像的appearance信息(外表信息),另一种是运动信息(时序信息) 该文贡献有三点:1.双流 2.已证实,在少量数据下,只学习光流信息也能取得较好效果 3.为弥补数据的不足,在两个数据集上训练骨干网络,在两个数据集上都有效果提升 导言:与图像识别相比,视频中的动作信 阅读全文
posted @ 2023-04-23 14:56 诸葛村夫CC 阅读(188) 评论(0) 推荐(0) 编辑
摘要:这个东西大体就是说,之前都是用Imagenet这种一个图片对应一个确定的分类,这样你的输出层softmax就是固定数量的,比如1000选一。 CLIPS可以学习视觉信息和语义信息的对应,用对比学习的方法,这样就可以用大量的社交网络上爬下来的图片以及图片的caption进行训练。说白了就是想用文本(一 阅读全文
posted @ 2023-04-21 15:19 诸葛村夫CC 阅读(286) 评论(0) 推荐(0) 编辑
摘要:22年初的屠榜模型 题目:用了移动窗口的层级式的vision transformer 摘要:Swin transformer可以作为CV中通用骨干网络。与NLP不同的第一个是对象尺度的问题,第二是多次提到的分辨率太大的问题,之前工作已经用很多办法减少过输入模型的序列长度。移动窗口可以让每次只计算一个 阅读全文
posted @ 2023-04-19 21:38 诸葛村夫CC 阅读(237) 评论(0) 推荐(0) 编辑
摘要:MoCo作为一个无监督表征学习工作,在不仅分类而且其他例如检测、分割、人体关键点检测等主流视觉任务上超越了有监督模型(即ImageNet上的预训练模型),这给CV领域吃了一颗定心丸,证明无监督真的可行。Lecun早在2016年就用一张蛋糕图表明如果机器学习是一个蛋糕,强化学习只是上面的一颗樱桃,有监 阅读全文
posted @ 2023-04-15 23:36 诸葛村夫CC 阅读(417) 评论(0) 推荐(0) 编辑
摘要:开篇定性如上图 标题:Masked Autoencoder Are Scalable Vision Learners 带掩码的自编码器是一个可拓展的(scalable)视觉学习器 沐神说加入做的模型比较大就用scalable,算法比较快的话就用efficient Masked就是要做完形填空的意思。 阅读全文
posted @ 2023-04-13 15:28 诸葛村夫CC 阅读(235) 评论(0) 推荐(0) 编辑
摘要:ViT:如果在足够多的数据上做预训练,直接用NLP中搬来的Transformer也能把视觉问题解决的很好,这打破了视觉和NLP之间模型上的壁垒,所以就开启了多模态领域的快速发展。 在开始读原文之前,这里展示了一个ViT有趣的特性,即在以下四种情况下CNN甚至人眼都难以分辨图片中是一只鸟,而ViT效果 阅读全文
posted @ 2023-04-10 22:36 诸葛村夫CC 阅读(597) 评论(1) 推荐(0) 编辑
摘要:机器学习模型有两大类,第一种是分辨模型(这里的分辨我理解为让模型分辨/理解/识别数据),即判断数据的类别或输出一个预测。第二类是生成模型,即生成数据本身 李沐认为GAN的摘要非常简洁,是可以直接写进教科书的写法。如果你提出的是一个全新的东西,并且你认为它是能写进教科书的话,那你整篇文章关键在于讲清楚 阅读全文
posted @ 2023-04-10 16:56 诸葛村夫CC 阅读(54) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示