[MLLM] MiniGPT-4

 Todo list.

 

 
[Submitted on 20 Apr 2023]

MiniGPT-4: Enhancing Vision-Language Understanding with Advanced Large Language Models

 

 
Saleforce的AI Projects：
 
 
 
MiniGPT-4 仅使用一个投影层将一个冻结的视觉编码器（BLIP-2）与一个冻结的 LLM（Vicuna）对齐。
多模态对齐是指找到两种或多种模态的instances中sub-components之间的对应关系，例如：给定一张图片和一个描述，找到词或者短语对应图片中的区域。
 

Ref: CV多模态和AIGC的原理解析：从CLIP、BLIP到Stable Diffusion、Midjourney

https://instruction-tuning-with-gpt-4.github.io/

[Submitted on 6 Apr 2023]

Instruction Tuning with GPT-4 [看上去不错的实践报告]

 

 

 
 
 
 
 
 
posted @ 2023-09-19 20:29  郝壹贰叁  阅读(16)  评论(0)  编辑  收藏  举报