PbRL | Christiano 2017 年的开山之作,以及 Preference PPO / PrefPPO


PrefPPO 首次(?)出现在 PEBBLE,作为 pebble 的一个 baseline,是用 PPO 复现 Christiano et al. (2017) 的 PbRL 算法。

For evaluation, we compare to Christiano et al. (2017), which is the current state-of-the-art approach using the same type of feedback. The primary differences in our method are (1) the introduction of unsupervised pre-training, (2) the accommodation of off-policy RL, and (3) entropy-based sampling. We re-implemented Christiano et al. (2017) using the state-of-the-art on-policy RL algorithm: PPO (Schulman et al., 2017). We use the same reward learning framework and ensemble disagreement-based sampling as they proposed. We refer to this baseline as Preference PPO.

Christiano et al. (2017) 这篇文章的题目是 Deep reinforcement learning from human preferences,发表在 NeurIPS 2017;arxiv:https://arxiv.org/abs/1706.03741 ,GitHub:https://github.com/mrahtz/learning-from-human-preferences(用 TensorFlow 实现的)。

01 论文阅读:Deep reinforcement learning from human preferences

1.1 intro

intro:

  • 大规模应用 RL 的限制是,许多任务涉及复杂、定义不明确或难以指定的目标。(举了一些例子)
  • 如果有人类 demo(专家数据),可以 inverse RL 或 behavior cloning,但是很多任务难以给出人类 demo,比如控制奇形怪状的 跟人类很不像的机器人。
  • 我们的 PbRL 思路:从 human feedback 中学习 reward model,当作 RL 中的奖励函数。这可以解决上面的两个问题,允许 non-expert user 来给 feedback,并且(据论文说)可以节省一个数量级的 feedback 数量。
  • human feedback 的形式:让 human 看两段 video,指出哪一段更好(即 preference)。

Related Work:

  • 列举了很多从 human 打分或排序中学 RL 的工作。还有一些工作在 RL 之外的 setting 使用 preference。
  • Akrour 2012 和 2014 年的工作,貌似也算是 PbRL,但他们的方法是在整个 trajectory 上打 preference,不像我们只需要比较两个较短的 video segment。
    • Akrour 2012:April: Active preference learning-based reinforcement learning. Joint European Conference on Machine Learning and Knowledge Discovery in Databases(好像是 ECML PKDD,不知道是什么概念)2012。
    • Akrour 2014:Programming by feedback. ICML 2014。
  • 从 feedback 里学 reward model 的方法,貌似跟 Wilson et al. (2012)工作比较像。
    • Wilson et al. (2012):A Bayesian approach for policy learning from trajectory preference queries. NeurIPS 2012。

1.2 Method

首先介绍了一下 PbRL 的 setting:

  • 定义 segment \(\sigma = ((s_0, a_0), ... (s_{k-1}, a_{k-1}))\) ,是长为 k 的轨迹段。
  • 定义 preference \(\sigma_0\succ\sigma_1\) 表示轨迹段 σ0 比 σ1 更好。接下来,我们用这些 preference 数据学出 reward model。

然后是 method:(发现这篇文章好像没给伪代码)

  • 我们要维护一个 reward model \(\hat r\),和一个 policy \(\pi\)
  • 大概重复这样的过程:
    • 用目前的 policy \(\pi\) 生成 query \((\sigma_0,\sigma_1)\)
    • 把 query 给 human 比较得到 preference 数据;
    • 用新 preference 数据学 reward model;
    • 把 reward model 当作奖励函数,去学 RL、更新 policy \(\pi\)

① 把 reward model 当作奖励函数,去学 RL、更新 policy \(\pi\)

  • 论文声称 \(\hat r\) 可能是非平稳的(因为 reward model 一直在更新),所以他们想用 policy gradient 方法,因为 policy gradient 方法对奖励函数具有鲁棒性。
  • 他们用 A2C(advantage actor-critic)做 Atari,用 TRPO 做 MuJoco。调整了 TRPO 的 entropy bonus,MuJoCo 的 swimmer 任务使用 0.001 的 entropy bonus,其他任务使用 0.01 的 entropy bonus。
  • 把 reward model 产生的 \(\hat r\) 归一化到 0 均值 1 标准差。

② 用目前的 policy \(\pi\) 生成 query \((\sigma_0,\sigma_1)\)

  • preference 数据的形式是 \((\sigma_0,\sigma_1, p)\),其中 p 是一个 {0,1} 上的分布。
  • 如果 human 能打出 preference,那么 p = 0 或 1。如果 human 分不出来,则 p 是 01 上的均匀分布。如果 human 感觉 query 是不可比的,那么不会使用这个 query 学 reward model。

③ 用新 preference 数据学 reward model:

  • 我们使用 Bradley-Terry model 来建模 \(\hat r\) 和 preference 之间的关系:

  • \[\hat P[\sigma_0\succ \sigma_1] = \frac{\exp\sum\hat r(s_t^0,a_t^0)} {\exp\sum\hat r(s_t^0,a_t^0) + \exp\sum\hat r(s_t^1,a_t^1)} ~~. \tag{1} \]

  • 然后,我们去优化 cross-entropy loss:

  • \[L(\hat r) = -\sum_{(\sigma_0,\sigma_1,p)} \left( p(0)\log \hat P[\sigma_0\succ \sigma_1] + p(1)\hat P[\sigma_1\succ \sigma_0]\right) \tag{2} \]

  • (以上流程已经变成经典的 PbRL 做法)

  • 他们还加了三个小 trick:

    • 对 reward model 进行 ensemble,学 n 个独立的 reward model,用它们每个人单独归一化后的值 取平均 作为 \(\hat r\) 的值。
    • 把一部分 preference 数据拿出来做验证集,以调整神秘的 L2 正则化的权重参数,并添加神秘 dropout,以避免 reward model 过拟合(?)
    • label smoothing(?)貌似是当 human 打出 p = 0 的时候,认为 p = 0 的概率是 0.95,p = 1 的概率是 0.05。

query selection:

  • 即,我们现在有很多 trajectory,要从里面截出 segment、组成 segment pair,作为 query 送给人去比较。应该如何选取 segment pair 作为 query?
  • 这里使用了基于 disagreement 的 query selection,貌似是让每个 reward model 给出 \(\hat P[\sigma_0\succ \sigma_1]\) 的值,计算这些值的方差,然后选一个方差最大的 query。

1.3 实验结果

算法是在 TensorFlow 中写的。Github:https://github.com/mrahtz/learning-from-human-preferences(貌似不是官方代码…)

  • preference 一些是人类打的,另一些是 scripted teacher 打的。
    • Appendix B 中有让人类打 preference 的一些 prompt,感觉很有趣。
    • scripted teacher:上面公式 (1) 中用任务的真 reward 替换 \(\hat r\),反向生成 preference。
  • MuJoCo 实验中,分别使用真 reward、1400 700 350 个 scripted teacher queries、和 750 个 human queries。
    • (个人理解,这里的 750 human queries 包含的 label 少于 750 个,因为人类认为不可比的 query 应该会直接扔掉)
    • MuJoCo 实验中,很多 task 都做了 1e7 步,相比 pebble 来说学的很慢;pebble 1e6 步就能学出来。
  • Atari 实验中,分别使用真 reward、10k 5.6k 3.3k 个 scripted teacher queries、和 5.5k 个 human queries。(好多 human label…… 这要打好久好久;如此充足的实验,真是 solid work 呀)
  • 这些实验没有得出 human label 比 scripted teacher 好用的结论,论文说,可能是因为 human 犯错、不同 human 的打标签准则不一样等原因。
  • 一些 Appendix A 里的实验细节:
    • 有些环境会提前结束 episode,比如当 agent 倒下、死亡或到达目的地(?)他们声称这种 done 信号可能会提供 task 信息,因此魔改了环境,规避掉了 episode 长度可变的情况(?)使得 agent 死亡时得到一个大惩罚,或者 agent 到达目的地的时候直接 reset env 而不 done(?)
    • 在 MuJoCo 中,在实验开始前直接用随机 policy 打 25% 的 queries,然后以一个随时间递减的 rate 来打 preference;segment length = 15 - 60,取决于具体 task。
    • 在 Atari 中,reward model 和 policy 的输入是一样的,都是一个处理图像的卷积网络(无端联想,听说 DPO 的主要贡献是可以省掉 LLM RLHF 的 reward model,因为 reward model 应该跟 policy 一样大,所以省掉它可以节约很多显存)。
    • Atari 其实跑的是 A3C,在实验开始前打 500 个 query,segment length = 25。
  • 3.2 节还在 MuJoCo 里学习了 hopper 后空翻的 novel behavior,据文章说,可以保证后空翻后 hopper 脚着地。使用 900 个 human query 学习的。3.2 节还有其他的 novel behavior。
  • 3.3 节做了非常充分的 ablation study。发现 segment 长度 = 1 貌似会性能变差,reward model 不加正则化影响不大,把 query selection 改成随机好像也影响不大,以及,最好边更新 policy 边拿最新轨迹打 preference。

02 PEBBLE 中的 PrefPPO 实现

PEBBLE 中的 PrefPPO 实现,直接魔改了 stable_baselines3 的 PPO 模型;他们写了一个叫做 PPO_REWARD 的新类,把所有跟 reward model 的交互都封装到 model.learn() 函数里了。

2.1 reward model 如何构建

跟 pebble 的 reward model 一样。

如果 state 和 action 都是了连续的(比如普通的 cheetah walker),那么就把 state 和 action concat 起来,作为 reward model 的输入。

如果 state 是图像,action 是离散的(比如 Christiano 2017 论文中的 Pong 环境),那么(按照 Christiano 2017 复现代码),…… 好像直接拿 state 图像来算 reward 了,没有 concat 一个 one-hot action 或者数值 action。

2.2 PPO_REWARD 的 model.learn()

PPO 的大概流程:收集 rollout → 计算 rollout 的 advantage 之类 → 计算 loss 并 backward → 收集新 rollout…

在收集 rollout 的过程中,PrefPPO 把要收集的真实 task reward 替换成了 \(\hat r\) ,并把 rollout 数据都添加到 query 的备选中。

在收集 rollout 前后,貌似都有调用 learn_reward() 函数来训练 reward model,这个函数首先收集 query,然后拿收集的 query 学习 reward model。跟 pebble 基本一样。



posted @ 2024-11-20 15:16  MoonOut  阅读(82)  评论(0编辑  收藏  举报