Large language models as surrogate models in evolutionary algorithms: A preliminary study

用大语言模型作为代理模型进行昂贵计算

一、 作者本文贡献

• 提出了一种基于 LLM 的创新代理模型，用于预测 SAEA 中新解决方案的质量，利用 LLM 的推理功能执行回归和分类任务，而无需训练。
• 引入了 LLM 辅助 SAEA （LAEA） 算法，将基于 LLM 的代理模型集成到 SAEA 中，以方便选择新的解决方案。
• 进行详细的实验分析，比较 LLM 在 2D 数据可视化和多个优化问题中的性能，并与传统 SAEA 算法和模型选择精度进行基准测试。• 提供可扩展的开源代码以支持该领域的进一步研究和开发。

二、 辅助代理模型

1. 回归模型

决策变量$x$ 通过模型 $M_{reg}$ 预测 $y$，即 $y=M_{reg}(x)$。

如图所示：

2. 分类模型

分类模型 $M_{cla}$ 用于将 输入的决策变量 $x$ 映射到一个分类标签 $l$ 上，即 $l=M_{cla}(x)$。

$l$ 是预测的类标签，用于指示解的质量。

如图所示：

3. 关系模型

模型 $M_{rel}$ 侧重于直接学习解之间的相对优势。即 $r=M_{rel}(x_1,x_2)$。

算法部分

主要框架流程

主要部分为红色圈出。

1. 数据预处理

通过公式（5）将决策变量 $x$ 以及其对应的值 $y$ 预测值 $u$ 放缩到 $[0,1]$ 之间 $x$ 并保留3位小数， $y,u$ 保留5位小数。

这样做的目的：

执行此缩放是为了确保特征向量在一致的范围内，从而促进 LLM 的推理过程。

随后生成描述任务的提示给LLM。

1.1 回归阶段模型任务提示

任务提示包含五个部分：

1. 任务描述
2. 流程描述
3. 历史数据
4. 新预测评估的决策变量向量值 u
5. 输出格式规范。

图例：

算法步骤：

1.2 分类阶段模型

在回归阶段我们得到了 已有的解 $x$ 以及其目标值 $y$。 没有计算通过回归模型预测的解 $x$ 和其预测的目标值 $u$。在分类阶段我们需要对unevaluated solution 进行分类。

分类任务五部分组成：
1. 任务描述
2. 流程描述
3. 历史数据
4. 新评估的决策变量向量 （u） ##这里的评估指的是贴分类标签而不是去计算其目标值
5. 输出格式规范

图例：

2. 大语言模型作为辅助代理模型

通过上面的流程操作我们已经将大语言模型应用到回归和分类任务中去，那么将大语言模型集成到EAs中就很直观了。

补充内容

该算法直接用了这篇论文所提出的框架。

该算法采用可变宽度直方图（VWH）作为新的解生成算子，以提高全局收敛速度。此外，它使用模型预测的有前途的解决方案，而不进行实际评估（称为未评估的解决方案，u）为下一代生成新的解决方案。这种方法可以有效地改善种群分布。

算法2

line 7 Prediction： 利用历史数据 $A_{1:\tau }$, 采用LLM去预测 $Q$ 的质量。其中 $\overrightarrow{V}$ 表示 回归预测任务，$\overrightarrow{L}$ 表示 分类预测任务。

line 8 Assisted Selection： 基于回归任务和分类任务得到的最优个体 $q$ 以及种群前 $N/2$ 个个体作为 unevaluated population $P_u$。

2.1 Prediction by LLMs

存档 $A$ 中评估的解根据其函数值按升序排序，排名靠前的 $\tau$ 解被选为历史数据进行 LLM 推理。这些解作为提示用于预测 $Q$ 中解的质量。

回归任务很好理解。。。

对于分类任务，首先根据函数值将 $A_{1:\tau }$ 中的解分为两类：前 50% 的解被归类为类别 1，其余 50% 的解被归类为类别 0。然后这些数据就用来作为分类任务的提示了。

2.2 Assisted Selection

标准情况下， 基于回归任务 $\overrightarrow{V}$ 得到的值所选出来的最佳个体 $q$ 用于接下来的真实函数评估。同时基于分类任务 $\overrightarrow{L}$ 中标签为1 的选为 $P_u$, 如果 $P_u>N/2$随机选 $N/2$.$ 个解作为 $P_u$。这些解不参与真实函数评估，只是为了保证种群的多样性。

实验

效果一般