05_训练不了人工智能吗？你可以训练你自己(下)

训练不了人工智能吗？你可以训练你自己(下)

二、在不训练模型的情况下强化语言模型的方法

5.模型合作

• LLM将任务分块，交给不同的LLM完成，最后整合得到完整结果（节省成本）

• LLM彼此讨论，LLM先自我反省，之后不同LLM进行讨论得到最后结果（呼叫不同API进行讨论）

讨论方式：不同任务，效果最好的讨论方式不同

讨论结束：一个LLM充当裁判模型，当裁判模型认为参与讨论的LLM达成共识时，讨论才会结束

• 引用不同角色：根据不同LLM的擅长领域或特点充当不同角色，从而更高效的完成不同任务，从而我们可以拥有一个团队，甚至可以通过利用LLM彼此评价的方式优化团队

附：LLM协作方式种类

合并（Merging）：在参数空间中整合多个LLMs，创建一个统一的、更强大的模型。合并方法旨在解决单一模型可能存在的限制，如信息缺失、陷入局部最优或缺乏多任务能力。

集成（Ensemble）：结合不同模型的输出以获得一致的结果。探讨了在推理前、推理中和推理后进行集成的不同方法，以及它们如何影响推理速度、集成粒度和面临的限制。

合作（Cooperation）：利用不同LLMs的多样化能力来实现特定目标，如高效计算或知识转移(知识转移：通过合作在推理阶段转移知识，而不是涉及训练)。