打 multi-fidelity RL 旗号，但是幼稚监督学习 + 迁移学习

• 文章名称：Multi-fidelity reinforcement learning framework for shape optimization
• 链接：https://www.sciencedirect.com/science/article/pii/S0021999123001134#se0020
• Journal of Computational Physics (JCP)，计算力学领域 国际三大顶刊之一。

0 abstract

• 提出了一个受控的（controlled）迁移学习（transfer learning）框架（被称为 CTL），来解决 DRL 需要大量数据的问题。
• 利用来自 low-fidelity 和 high-fidelity env 的信息。
• 优化翼型的计算成本降低 30%。

2 method

• 细节：一个 episode 长度为 1… wait 这算什么 RL 呀？😖
• 首先与 low-fidelity env 交互，算法为 PPO。
• 维护一个 ${\beta }_e$，防止过拟合 low-fidelity env。${\beta }_e\triangleq \frac{{\xi }_e}{max({\xi }_e,{\xi }_{e-1},\dots {\xi }_1)}$，其中 ${\xi }_{\tilde{e}}=\{r_{\overline{e}},r_{\overline{e}-1},\dots r_{\overline{e}-k}\}$ 是长度为 k 的 look-back window 的 reward 的方差。
• 如果 agent 在学，那么 β 应当变小，因为越来越熟练的 agent 在最近这段时间的表现会越来越稳定。（也可能是稳定输出离谱 action 呢？😈）
• 定义一个 Γ = 0.3，如果 β＜Γ，那么我们认为在 low-fidelity env 上学足够了，去 high-fidelity env。

为什么这种工作能发顶刊？？😫