SplitMask:大规模数据集是自我监督预训练的必要条件吗?

自监督预训练需要大规模数据集吗?这是2021年发布的一篇论文，它在自监督预训练场景中使用小数据集，如Stanford Cars, Sketch或COCO，它们比ImageNet小几个数量级。并提出了一种类似于BEiT的去噪自编码器的变体SplitMask，它对预训练数据的类型和大小具有更强的鲁棒性。

SplitMask

 

https://avoid.overfit.cn/post/21d79b50015d406694bcf063b12c02e3

posted @   deephub  阅读(10)  评论(0)  编辑  收藏  举报
相关博文：
· 论文推荐：使用带掩码的孪生网络进行自监督学习
· 论文推荐：ReLICv2 ，新的自监督学习能否在ResNet 上超越监督学习？
· 无监督预训练
· 机器学习策略篇：详解开发集和测试集的大小（Size of dev and test sets）
· 机器学习策略篇：详解如何使用来自不同分布的数据，进行训练和测试（Training and testing on different distributions）
阅读排行：
· 全程不用写代码，我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了，比商业数据库还牛
· .NET10 - 预览版1新功能体验（一）
历史上的今天：
2022-09-09 带掩码的自编码器MAE在各领域中的应用总结
点击右上角即可分享
微信分享提示