摘要： 2024-07-10，由清华大学和西安交通大学等机构联合创建的DreamBench++，这个任务目的是通过使用先进的多模态GPT模型来自动化评估，实现与人类评估一致的结果，从而提高个性化图像生成的可靠性和准确性。 一、引言： 个性化图像生成 是人工智能中的一个活跃研究领域，其主要目标是根据用户提供的 阅读全文

摘要： 2024-07-10，由中国科学院自动化研究所、清华大学自动化系所联合创建EMER，这个任务目的通过提供预测情感的详细解释来提高情感识别的可靠性和准确性。 一、引言： 多模态情感识别是人工智能中的一个活跃研究领域，其主要目标是通过整合声音、视觉和语言等多种模态来识别人类的情绪状态。尽管近年来取得了显 阅读全文

摘要： 2024-09-18 由欧洲空间局主导，由空客防务与空间公司参与创建Vision Based Navigation ， 为空间任务中的基于视觉导航（VBN）机器学习应用生成训练数据集。 目前遇到的困难和挑战 1、数据集的可用性和充分性： 挑战：为机器学习算法提供足够的训练数据集，尤其是对于航天应用， 阅读全文

摘要： 大模型中的偏好数据集，就好比是给一个超级学霸特别定制的教材，这些教材里的内容都是这个学霸特别感兴趣或者特别擅长的。这样一来，学霸就能在这些领域里学得更快、更深入，而不是在所有科目上平均用力。 简单来说，就是让大模型在它擅长或者感兴趣的领域里更加出色。 偏好数据集的三个优点包括： 提高效率：就像学霸专 阅读全文

摘要： 2024-09-04， 由挪威 SimulaMet 研究中心 更新提交Kvasir-VQA，该数据集扩展了现有的HyperKvasir和Kvasir-Instrument数据集，并增强了问答注释。目的是促进胃肠道 （GI） 诊断中的高级机器学习任务。 背景介绍： 人类胃肠道容易受到各种异常粘膜状况的 阅读全文

摘要： 2024-07-28 ,由香港中文大学、上海市人工智能实验室共同创建HumanVid， 是一项创新的大规模高质量数据集，专为人体图像动画而设计，它通过结合精心挑选的现实世界视频和合成数据，为视频和电影制作领域带来了突破性的工具。 人类图像动画的任务目的： 在从单个图像生成连贯的人类视频。为了增强可控 阅读全文

摘要： 2024-09-03 ，由纽约大学的 心理学系和数据科学中心创建H-ARC数据集，是一个包含所有提交和动作追踪的数据集，以分析和理解人类如何解决抽象推理问题。有助于揭示人类认知的复杂性，并为开发更智能、更接近人类思维方式的人工智能系统提供了重要的数据和见解。 目前遇到困难和挑战： 人工智能的挑战：  阅读全文

摘要： 2024-09-04，由MMMU 团队创建用于评估大规模多学科多模态模型的理解和推理能力的基准。 目前遇到问题和挑战： 文本依赖性问题：一些现有基准测试中的问题可以通过仅使用文本模型来回答，而不需要视觉信息。 选项空间有限：在多项选择格式中，选项数量有限，模型可能通过猜测或利用选项之间的微妙线索来找 阅读全文

摘要： 2024-08-22，由剑桥大学和香港大学联合创建GRAB，目标是通过包括广泛的图表类型和问题格式来全面评估前沿模型分析图形的能力。重点关注重要的分析任务，例如从图中提取关键属性和解释复杂的数据表示。 目前遇到问题和挑战： 现有基准测试的局限性： 大型多模态模型在视觉任务上的表现已经非常出色，但现有 阅读全文

摘要： 2024-09-05 ，由华东师范大学发布 CMM-Math ，是一个用于数学推理的多模态数据集，其中每个问题可能包含多个图像，专为 LMM 设计。目标是提升大型多模态模型的数学推理能力，展示了专门的数学语言模型在处理具有视觉背景的复杂数学问题方面的有效性。 一、目前遇到问题和挑战： 1、中文多模态 阅读全文