基于SAM的one-shot提取特定目标体验评价

 

项目一：Personalize-SAM（开源）

1、基本介绍

 项目地址：https://github.com/ZrrSkywalker/Personalize-SAM

demo地址：https://huggingface.co/spaces/justin-zk/Personalize-SAM

实现功能：仅给定一张带有参考mask的图像，PerSAM 无需任何训练即可在其他图像或视频中分割特定的目标，例如您的宠物狗。也提供了微调，但是只训练了2个参数

论文中图片介绍：

2、demo实测

• 官方提供的图片测试（三张图片中的鞋子完全是同一个鞋子）

 

 

• 自己提供的图片测试

第一张测试结果不好，没有分割出布达拉宫，第二张测试结果准确。

• 使用官方的图片中的mask+自己找的图片测试

图中虽然使用鞋子作为主体，但是还是找到了布达拉宫和枪支，说明能够主动提取出比较醒目的物体

 

3、存在问题

根据官方自己的说法，mask无法进行分类

4、总结

根据实测来说，并没有很好实现项目中提到的能力。或者说我们还没有进行大规模测试过，但至少给人的感觉是准确率不高。

 

 项目二：matcher（未开源）

1、基本介绍

项目地址：https://github.com/aim-uofa/matcher

实现功能，以论文中图片介绍：

通过参考图像，生成可靠的prompt，控制mask的生成

 

One-Shot Semantic Segmantation（语义分割）

 

One-Shot Object Part Segmantation（物体零部位分割）

 

Cross-Style Object and Object Part Segmentation（跨域分割和跨域零部位分割）

 

Controllable Mask Output（可控mask输出）没看懂啥意思

 

2、总结

没开源，光看给的图那是非常令人激动，但是根据经验，不开源一律按照吹牛处理