在写Prompt时,了解如何设定角色扮演是至关重要的。这不是毫无根据的迷信,而是有科学依据的方法。
GPT在训练过程中接触到各种质量不一的数据,有些高质量,有些低质量。默认情况下,生成的结果可能是高质量和低质量解决方案的概率均等分布。然而,当你告诉GPT你是某个领域的专家时,它会尽力将概率分布在高质量解决方案上。
上面的观点是 Andrej Karpathy在《State of GPT》的演讲中提出的,对于理解LLM非常有帮助,他的观点主要有两点:
- LLM并非追求成功,而是追求模仿。
- 要想让它成功,就需要明确告诉它你的期望。
以下是这段视频的文字内容:
在Transformer的训练过程中,使用了各种训练集,其中包含不同质量的表现。虽然Transformer可以区分出高质量和低质量解决方案,但默认情况下,它们只是模仿所有的数据,因为它们是基于语言模型进行训练的。
在实际测试中,我们需要明确要求LLM表现出色。研究论文中的实验证明,使用一些提示可以取得良好效果。例如,“让我们逐步思考”这样的提示可以将推理过程分解成多个步骤,但更好的效果是使用这样的提示:“让我们以一步一步的方式解决问题,以确保我们得到正确的答案。” 这样的提示可以引导Transformer得出更好的答案,因为此时Transformer不再将概率分散到低质量的解决方案上,尽管这听起来有些奇怪。
基本上,我们可以要求LLM提供高质量的解决方案。例如,我们可以告诉它,“你是这个话题的专家,假装你的智商是120。” 但是不要尝试要求过高的智商,因为如果你要求智商400,可能超出了数据分布的范围。更糟糕的是,你可能会得到类似科幻或角色扮演的内容。因此,我们需要找到适当的智商要求,这可能是一个U型曲线关系。