论文1:Causal Reasoning and Large Language Models:  Opening a New Frontier for Causality
文章根据LLM在因果发现、反事实推理和实际因果关系方面的评估结果表明,它们可以取得很好的效果,这是通过大量的文本训练模仿该领域知识模式的结果。虽然它也会产生错误,但是错误的次数极少并且有些可以被纠正。

文章提出了几个未来可以研究的新方向:

  1. 将LLM的输出作为因果发现算法的先验。
  2. 利用LLM的领域知识来为给定的因果分析构建健壮性和有效性检查。
  3. 指导LLM使用实际因果关系原语(一些基本概念)来回答更高层次的实际因果判断问题
  4. 人类与人工智能在因果问题上合作的前景。
  5. 理解LLM因果推理的本质以及如何提高其稳健性。

论文2:Causal-Discovery Performance of ChatGPT in the context of Neuropathic Pain Diagnosis

文章对GPT在神经性疼痛诊断数据集上进行了测试,发现GPT的回答是不连续且不稳定的,比如,连续几次的回答是不一样的,GPT不能识别其他语言等。因此,我们要谨慎看待GPT给出的回答,我们可以将其看成因果发现方法的一个补充。

论文3:Investigating causal understanding in LLMs

文章在各种模式下测试了GPT识别原因和结果的能力,并总结模型越大结果越好,k-shot>1-shot>0-shot,但是LLM很擅长匹配模式解决问题,而这样会导致在一些复杂的场景中,人们不小心就会被糊弄。

posted on 2024-03-06 15:27  小黑哈哈  阅读(24)  评论(0编辑  收藏  举报