随笔- 667 文章- 0 评论- 116 阅读- 155万

大模型的事实核查测试&测试用例

大模型事实核查测试介绍

大模型的事实核查维度主要包括以下几个方面：

事实理解：大模型需要能够理解事实陈述中的事实信息，包括事实的主体、客体、属性、关系等。
知识推理：大模型需要能够根据事实信息进行推理，从而得出新的事实信息。
语言生成：大模型需要能够生成准确的事实陈述，以回答事实核查问题。

具体来说，大模型在事实理解方面需要能够：

识别事实陈述中的关键信息，例如主体、客体、属性、关系等。
理解事实陈述中的语义，例如事实陈述的真实性、确切性、可靠性等。
识别事实陈述中的歧义，并进行消歧。

大模型在知识推理方面需要能够：

利用事实陈述中的事实信息进行推理，得出新的事实信息。
利用事实陈述中的知识库进行推理，得出新的事实信息。
利用逻辑推理进行推理，得出新的事实信息。

大模型在语言生成方面需要能够：

生成准确的事实陈述，符合事实陈述的语法和语义。
生成简洁明了的事实陈述，易于理解。
生成客观公正的事实陈述，不带有主观意见。

除了上述几个维度之外，大模型的事实核查还需要考虑以下因素：

鲁棒性：大模型需要能够在面对复杂的事实核查问题时保持鲁棒性，避免出现错误。
效率：大模型需要能够在合理的时间内完成事实核查任务。

大模型的事实核查技术还处于发展阶段，未来的研究需要在上述维度上进一步加强，以提高大模型的事实核查能力。

事实核查测试用例

FEVER：简单的事实核查评测
BARD：复杂的事实核查评测

FEVER评测基准的示例测试集包括如下：

事实陈述：巴黎是法国的首都。
问题：巴黎位于哪个国家？
答案：法国

事实陈述：地球是圆的。
问题：地球是圆的吗？
答案：是

事实陈述：水的沸点是 100 摄氏度。
问题：水的沸点是多少摄氏度？
答案：100

事实陈述：美国的首都是华盛顿特区。
问题：美国的首都是哪里？
答案：华盛顿特区

事实陈述：中国是世界上人口最多的国家。
问题：世界上人口最多的国家是哪个？
答案：中国

事实陈述：人类的血液由红细胞、白细胞和血小板组成。
问题：人类的血液由哪些成分组成？
答案：红细胞、白细胞和血小板

这些数据涵盖了广泛的事实核查问题，包括地理、历史、科学、社会等领域。

BARD 的复杂事实核查案例的测试集包括如下：

问题：巴黎是哪个国家的首都？
事实陈述：巴黎是法国的首都，但它也是欧洲的首都。
答案：巴黎是法国的首都，但它不是欧洲的首都。
问题：地球是圆的吗？
事实陈述：地球是圆的，但它不是正圆。
答案：地球是圆的，但它不是正圆。
问题：水的沸点是多少摄氏度？
事实陈述：水的沸点是 100 摄氏度，但在高海拔地区会降低。
答案：水的沸点在海平面为 100 摄氏度，在高海拔地区会降低。
问题：美国的首都是哪里？
事实陈述：美国的首都是华盛顿特区，但它不是最大的城市。
答案：美国的首都是华盛顿特区，但它不是最大的城市。
问题：中国是世界上人口最多的国家吗？
事实陈述：中国是世界上人口最多的国家，但印度很快就会超过它。
答案：中国是世界上人口最多的国家，但印度很快就会超过它。
问题：人类的血液由哪些成分组成？
事实陈述：人类的血液由红细胞、白细胞和血小板组成，但血浆也是血液的重要组成部分。
答案：人类的血液由红细胞、白细胞、血小板和血浆组成。

BARD与FEVER的差异不同

BARD ：事实核查问题通常是多步推理的，需要模型能够理解事实陈述中的多个事实信息，并进行逻辑推理。例如，BARD 的事实核查问题“地球是圆的吗？”的事实陈述“地球是圆的，但它不是正圆”包含了两个事实信息：地球是圆的，但它不是正圆。模型需要理解这两个事实信息，并进行逻辑推理，才能得出“地球是圆的，但它不是正圆”的答案。

FEVER ：事实核查问题通常是简单的，只需要模型判断事实陈述是否正确。例如，FEVER 的事实核查问题“地球是圆的吗？”的事实陈述“地球是圆的”只包含了一个事实信息。模型只需要判断这个事实信息是否正确，即可得出“是”的答案