摘要：
Motivation & Abs 文章关注的任务为用VLM（如CLIP）做开放词汇分割，motivation主要来自于作者的一个观察：分割图中的噪声主要来自于残差连接，这会导致在文本-图像预训练更加强调全局特征，从而牺牲了局部判别能力，从而导致了分割结果中的噪声。为此作者提出了ClearCLIP，对 阅读全文
摘要：
Motivation & Abs Generalized Referring Expression Segmentation (GRES)：相比于原始的RES任务，一个文本描述里可能出现多个需要分割的物体，或者没有需要分割的物体，难点在于建模不同实体之间复杂的空间关系，以及识别不存在的描述。现有的方 阅读全文
摘要：
Motivation & Abs 为现有的多模态大模型引入visual grounding的能力能够增强AI对世界以及人机交互的理解，然而现有的方法通常需要对LLM的参数进行FT以学习额外的seg token，同时过拟合grounding和segmentation的数据集，这会导致对于通用知识以及指 阅读全文
摘要：
Motivation & Abs 现有的结构限制了模型以端到端的方式预测多粒度分割mask；同时目前没有大规模的语义感知&粒度感知数据集，同时不同数据集之间语义和粒度的固有差异给联合训练工作带来了重大挑战。 本文提出通用图像分割模型，能够以任何粒度分割识别任何内容，给一个点作为prompt能够生成多 阅读全文
摘要：
Motivation & Abs 现有的感知系统依赖人类的指示，难以主动推理以理解人类意图。 新任务：reasoning segmentation，模型需要根据给定的复杂 / 具有隐含意义的文本输出相应的seg mask。 新的benchmark：包含1000张左右图像的数据集（image-inst 阅读全文
摘要：
Motivation & Abs Motivation：之前基于LLM的通用助手仅能处理文本。 数据：使用纯语言的GPT4生成多模态语言-图像指令数据。 模型：基于生成数据端到端训练的模型LLaVA，用于通用视觉语言理解。 指标：两个benchmark。 GPT-assisted Visual In 阅读全文
摘要：
Motivation & Abs 端到端大规模视觉语言预训练的开销极大。为此，本文提出了BLIP2，利用现成的冻住的image encoder以及LLM引导视觉语言预训练。 模态差距：通过两阶段训练的轻量级的Query Transformer（Q-Former）弥补。第一阶段：从冻结的image e 阅读全文
摘要：
参考： 求一个games101图形学课程的环境配置教程，最好能够简单易懂，CSDN教程根本看不懂什么意思? - 不泊的回答 - 知乎 https://www.zhihu.com/question/459126051/answer/3420947842 macos现在怎么装homebrew? - My 阅读全文
摘要：
尝试了网上所有方法，包括但不限于放行轻量应用服务器防火墙/系统防火墙的对应端口等，均无效，同时frp也无法使用。后来向腾讯云提交工单，得知可能与本地网络环境校园网有关（），更换手机热点后正常。同时为了解决本地服务器访问云服务器的问题，尝试更换云服务器的公网ip，问题暂时解决。 阅读全文
摘要：
在使用实验室服务器时出现此问题，具体表现为选择用户并输入密码后，等待若干秒后回到登陆界面，无法进入桌面，同时尝试网上的方法如修改.Xauthority的权限均无效。 解决方案：重新安装nvidia驱动。 附一个比较全面的方法汇总：https://blog.csdn.net/jsk_learner/a 阅读全文