LLM-Blender：大语言模型也可以进行集成学习

最近在看arxiv的时候发现了一个有意思的框架：LLM-Blender，它可以使用Ensemble 的方法来对大语言模型进行集成。

官方介绍如下：LLM-Blender是一个集成框架，可以通过利用多个开源大型语言模型(llm)的不同优势来获得始终如一的卓越性能。

LLM集成

我们都知道集成学习是一种机器学习方法，旨在提高预测模型的性能和鲁棒性。它通过将多个不同的学习器（如决策树、神经网络等）结合成一个整体，来取得比单个学习器更好的预测效果。比如最常见的Kaggle比赛中就广泛的使用了这种方法。

那么大语言模型有必要进行集成吗

论文给出了以下观点：

由于数据、架构和超参数的变化，LLM表现出不同的优势和劣势，使它们互补。并且目前不存在一个开源LLM在所有例子中都占主导地位。可以集成LLM的输出(基于输入、任务和领域)，以便在不同的示例中提供一致的卓越性能。结合他们独特的贡献;可以减轻个别LLM的偏差、误差和不确定性，从而使产出与人类偏好保持一致。

 

https://avoid.overfit.cn/post/29adfb00f1b44adabe43f6a5cd47c53b