提示词

原理

• 大语言模型会根据前一个文本推断后续词，并根据可能性百分比给出候选词
• 然后根据 Top_p 和 temperature 的设定来获取框定词和最终选择词
  • 根据运用场景设定 Top_p 和 temperature，越是需要生成创造性内容的，这两个值就越大

参数

• Top_p：产生文本的丰富度。通过设定丰富度百分比，然后从候选词中框定这个百分比内的值。
• Top_k：产生文本的丰富度。通过设定丰富度的个数，然后从候选词中由可能性高到低框定这个数量的词。
• temperature：从框定值中选择随机值的可能性，数值越大越容易出现随机选择。
  • OpenAi中是0-2之间
• 举例
  • Code Generation 代码生成器，Temperature：0.2，Top_p：0.1
  • Creative Writing 创造性写作，Temperature：0.7，Top_p：0.8
  • Chatbot Responses 聊天机器人，Temperature：0.5，Top_p：0.5
  • Code Comment Generation 代码注释生成，Temperature：0.3，Top_p：0.2
  • Data Analysis Scripting 数据分析，Temperature：0.2，Top_p：0.1
  • Exploratory Code Writing 探索性代码编写，Temperature：0.6，Top_p：0.7

使用大语言模型的3个场景

• Simple Prompt：简单问题，直接提问
• Prompt with Context：提供补充信息，模型根据自生能力完成任务
• Instruction Tuning：使用特定场景的数据对语言模型进行全量的微调。这种方法主要用于提高语言模型在特定任务上的性能。然而，由于大语言模型的参数量通常达到十亿、百亿甚至千亿级别，全量微调的成本会很高。而且，用于微调的特定领域的数据量相较于用于训练大语言模型的数据量少很多，因此在少量特征场景数据上进行微调可能会“污染”大语言模型的参数，降低其泛化能力。

prompt

• 要素
  • 目标：告诉模型需要提供什么服务
    • 包含
      • 指令
        • 推断、总结、扩展、交流、变换等
      • 输出要求
    • 例子：基于上下文来进行问答
  • 上下文：可选
    • 上下文可以是多种的
  • 输入：输入问题
    • 例子：胖总喜欢什么？