摘要: 大模型事实核查测试介绍 大模型的事实核查维度主要包括以下几个方面: 事实理解:大模型需要能够理解事实陈述中的事实信息,包括事实的主体、客体、属性、关系等。 知识推理:大模型需要能够根据事实信息进行推理,从而得出新的事实信息。 语言生成:大模型需要能够生成准确的事实陈述,以回答事实核查问题。 具体来说 阅读全文
posted @ 2023-12-08 18:41 Syw_文 阅读(318) 评论(0) 推荐(0) 编辑
摘要: ● 评测工具:用于评估模型的整体能力 ● 评测基准:用于评估模型在特定任务方面的能力 评测集名称 核心维度 测试模型的描述 评测类型 MMLU 多模态语言理解 理解文本、图像和音频等多种模态数据之间的关系方面的能力 评测工具 AGIEVAL 通用人工智能 自然语言理解、机器翻译、视觉识别等多种不同任 阅读全文
posted @ 2023-12-08 11:16 Syw_文 阅读(165) 评论(0) 推荐(0) 编辑