【CNN 取代 Transformer 加速 SAM】Fast SAM 笔记
将 SAM 任务转换为经过广泛研究的实例分割任务,并仅使用 SAM 作者发布的SA-1B数据集的1/50进行训练现有的实例分割方法
问题 1: 本文要解决什么问题?
SAM 的计算成本高,主要来自于 处理高分辨率输入的 Transformer 架构。本文想要加速 SAM 模型的推理速度。
问题 2: 本文怎么解决这个问题的?
By reformulating the task as segments-generation and prompting, we find that a regular CNN detector with an instance segmentation branch can also accomplish this task well.
使用带 一个 实例分割分支的常规的 CNN 检测器来处理 Segment Anything 任务。并且只使用了 SAM 模型训练的 SA-1B 数据集的 1/50 来训练一个实例分割任务。
问题 3:达到什么效果?
比 SAM 快 50 倍。