摘要：
图像描述 Image Captioning LAION-5B 2022.3发布的迄今为止最大规模的图文对的多模态数据集。共计约5.85B数据，是基于CLIP过滤的。基于这个大型数据集，作者也发布不同侧重的子集。LAION2B-en是包含英文注释文本的，LAION2B-multi是包含100多种的其它 阅读全文
摘要：
图文多模态方向：利用现有强大的预训练图像和语言大模型，冻结其参数并通过可训练模块建立起图像与语言模型间联系，实现对图文数据的联合处理能力。 CoGVLM 结构 整个网络结构由4部分构成： 视觉模型(ViT encoder), 语言模型(LLM), MLP适配器(MLP adapter)，视觉专家模块 阅读全文