BACON: Supercharge Your VLM with Bag-of-Concept Graph to Mitigate Hallucinations

目录

• 概
• BACON
• 代码

[Yang Z., Feng R., et al. BACON: Supercharge your vlm with bag-of-concept graph to mitigate hallucinations. 2024.]

概

本文提出了一种新的数据格式: BACON (BAg-of-Concept graph).

BACON

• BACON 希望将一个图片转换为 $G = (D, O, R, B)$ 的数据格式:
  • $D$ 为文本描述;
  • $O$ 为图片中的目标实体;
  • $R$ 为实体的关系;
  • $B$ 为实体的 bounding box.

• 为了构建这个图, 作者利用 GPT-4V 或者 (在本文收集的 BACON dataset 上微调后的) LLaVA-13B 上进行实体和关系的抽取. 通过 In-context learning, GPT-4V 能够给出 $(D, O, R)$, 当然作者说这些是提供模板了的.

• 接着, bounding box 通过 Grounding DINO 得到. 需要注意的时候, DINO 返回的是同一类实体的 bounding box, 所以可能会有多个, 所以再通过 LLaVA 和 CLIP 进行筛选和过滤 (下图展示的就是 graph grounding 的过程)

代码

[official]