2024-11-30 16:07阅读: 165评论: 0推荐: 0

C 的 RLT 列表，得到更多 preference 数据

论文标题：Listwise Reward Estimation for Offline Preference-based Reinforcement Learning，ICML 2024。
arxiv：https://arxiv.org/abs/2408.04190
pdf：https://arxiv.org/pdf/2408.04190
html：https://ar5iv.org/html/2408.04190
GitHub：https://github.com/chwoong/LiRE
（感觉关于构造 A>B>C 的 RLT 列表，得到更多 preference 数据，SeqRank 也是这个 idea。）

0 abstract

In Reinforcement Learning (RL), designing precise reward functions remains to be a challenge, particularly when aligning with human intent. Preference-based RL (PbRL) was introduced to address this problem by learning reward models from human feedback. However, existing PbRL methods have limitations as they often overlook the second-order preference that indicates the relative strength of preference. In this paper, we propose Listwise Reward Estimation (LiRE), a novel approach for offline PbRL that leverages secondorder preference information by constructing a Ranked List of Trajectories (RLT), which can be efficiently built by using the same ternary feedback type as traditional methods. To validate the effectiveness of LiRE, we propose a new offline PbRL dataset that objectively reflects the effect of the estimated rewards. Our extensive experiments on the dataset demonstrate the superiority of LiRE, i.e., outperforming state-of-the-art baselines even with modest feedback budgets and enjoying robustness with respect to the number of feedbacks and feedback noise. Our code is available at https://github.com/chwoong/LiRE

background & gap：
- 在强化学习（RL）中，设计精确的、与人类意图保持一致的奖励函数，具有挑战性。Preference-based RL（PbRL）从人类反馈中学习奖励模型，可以解决这个问题。
- 然而，现有的 PbRL 方法存在局限性：它们只能应对“A 比 B 好”“B 比 A 好”这种 0 1 的情况，而忽略了表示偏好相对强度的二阶（second-order）偏好。
method：
- 在本文中，我们提出了 Listwise Reward Estimation （LiRE），一种新颖的 offline PbRL 方法，它通过构建轨迹排名列表（Ranked List of Trajectories，RLT）来利用二阶偏好信息。
- 构建 RLT：使用与传统 PbRL 相同的三元组 feedback $(σ_{0}, σ_{1}, p)$ 。对于新给出的 segment，用插入排序的方式将其放到目前的 RLT 里。
experiment：
- 这篇文章提出了一个新的 offline PbRL dataset，用于评价 reward model 的学习效果。因为 d4rl 环境太简单，还会有 survival instinct（生存本能）现象，不适用于 reward 学习。
- 实验证明，LiRE 在反馈预算适中的情况下 outperform baselines，并且在 feedback 数量和 noisy feedback 方面更加稳健。

offline PbRL：
- Reward Learning from Human Preferences and Demonstrations in Atari. arxiv 这篇是 2018 年的文章，先对 expert demo 做模仿学习，然后 rollout 得到一些 segment，拿这些 segment 去打 preference，最后 PbRL 微调。
- Sequential Preference Ranking for Efficient Reinforcement Learning from Human Feedback. open review 这篇是 SeqRank，是 2023 neurips 的文章。SeqRank 把新得到的 segment 和先前收集的 segment（最近收集的 / 先前所有 segment 里最好的）拿去比较。如果能比出 $σ (t_{0}) < σ (t_{1}) < σ (t_{2}) < σ (t_{3})$ 的结果，就能得到 3×2×1 = 6 = (n-1)! 个 preference，但是我们其实只比了三次；SeqRank 就通过这种思想来对 preference 做数据增强。
- lire 讲 offline PbRL 的思路是，最近的工作专注于直接优化策略、省掉 reward model（比如 DPO），但是选择 informative query 也很重要。OPRL 是一种 active query selection 方法，选择 disagreement 最大的 query，但它没有使用二阶偏好。
Second-order Preference Feedback：
- 有些方法直接获得一个相对 preference 数值（明显更好 / 略好），或每个轨迹的绝对 rating（非常好好一般中差），但它们获取 feedback 的成本较高。
  - Llama 2: Open Foundation and Fine-Tuned Chat Models.
  - Weak Human Preference Supervision For Deep Reinforcement Learning. TNNLS（Transactions on Neural Networks and Learning Systems）2021 年的文章。arxiv 首先让 p 从 {0, 1} 变成 [0, 1]，直接优化交叉熵损失，做了一些神秘归一化，然后搞了一个 preference predictor 做数据增强；没有仔细看。
  - Rating-based Reinforcement Learning. AAAI 2024，arxiv。这篇文章的名字是 RbRL；人类直接给一个 segment 一个 {0, ..., n-2, n-1} 的 rating，然后我们学一个 rating model，试图判断一个 segment 被分到了哪个 rating。这个 rating model 通过判断 Σr hat(σ) 和定义的 n 个 rating 类别的奖励值边界的大小关系，来判断 segment 被分到了哪个 rating。rating 类别的奖励值边界会动态更新。
- 有很多 Learning-to-Rank 的工作，它们已经拿到了二阶偏好，试图去学一个 ranking 的评分。
- 还有一些工作，它们可以从多个轨迹的全序列表（比如 A<B<C<D）得到二阶偏好，但是真去构建一个大列表太慢了，应该更高效地构建（？）
- 然后又提了提 SeqRank。

4 method

首先对 preference 做了一些假设：
- 完备性：假设拿到 $σ_{0} σ_{1}$ ，要不是 $σ_{0} ≻ σ_{1}, σ_{0} ≺ σ_{1}$ ，要不就认为一样好 $σ_{0} = σ_{1}$ ，认为没有比不出来的情况。
- 传递性：假设如果有 $σ_{0} ≻ σ_{1}, σ_{1} ≻ σ_{2}$ ，那么有 $σ_{0} ≻ σ_{2}$ 。

4.1 构建 RLT（Ranked List of Trajectories）

我们的目标是得到形式为 $L = [g_{1} ≺ g_{2} ≺ \dots ≺ g_{s}]$ 的 RLT，其中 $g_{i} = {σ_{i_{1}}, \dots, σ_{i_{k}}}$ 是一组具有相同优先级的 segment。（有点像帕累托前沿分层之类）
具体构建方法：我们每拿到一个新 segment，就把它拿去跟目前的 RLT 插入排序比较，找到一个放新 segment 的位置。直到 feedback 预算用完。
表 1 计算了 LiRE 的 feedback efficiency 和 sample diversity，并且与 vanilla 方法、SeqRank 进行了比较。feedback efficiency 定义为 [我们获得的 feedback 数量] / [我们进行比较的数量] 。sample diversity 定义为 [我们获得的 feedback 数量] / [所用到的 segment 数量] 。
我们并没有构建一个很长的 RLT，而是去构建多个相对短的 RLT，为每个 RLT 都设置 feedback 预算。

4.2 从 RLT 里学 reward model

从 RLT 里推导出 $(σ_{0}, σ_{1}, p)$ 的 preference 数据，其中 $p \in {0, 0.5, 1}$ 。

然后优化 PbRL 的 cross-entropy loss：（我也不知道包含 p = 0.5 的 cross-entropy loss 是不是这么写）

\begin{matrix} (1) & \begin{aligned} L = & - E_{(σ_{0}, σ_{1}, p) \sim D} [p (0) \log P_{ψ} [σ_{0} ≻ σ_{1}] + p (1) \log P_{ψ} [σ_{0} ≺ σ_{1}] \\ + p (0.5) \log P_{ψ} [σ_{0} = σ_{1}]] \\ P_{ψ} & [σ_{0} ≻ σ_{1}] = \frac{\exp \sum_{t} {\hat{r}}_{ψ} (s_{t}^{0}, a_{t}^{0})}{\sum_{i \in {0, 1}} \exp \sum_{t} {\hat{r}}_{ψ} (s_{t}^{i}, a_{t}^{i})} \end{aligned} \end{matrix}

不知道为什么，LiRE 把 reward model 建模成了线性形式（而非指数形式）：

\begin{matrix} (2) & P_{ψ} [σ_{0} ≻ σ_{1}] = \frac{\sum_{t} {\hat{r}}_{ψ} (s_{t}^{0}, a_{t}^{0})}{\sum_{i \in {0, 1}} \sum_{t} {\hat{r}}_{ψ} (s_{t}^{i}, a_{t}^{i})} \end{matrix}

LiRE 声称这样可以放大 learned reward model 的奖励值的差异，拉高比较好的 (s,a) 的奖励。这个线性 reward model 的最后一层 activator 也是 tanh，为确保概率（公式 2）是正的，reward model 的输出是 1 + tanh() 。

也可以使用 listwise loss，在 Appendix A.3，有点复杂先不看了（）

5 experiment

5.1 settings

LiRE 的自定义 dataset：
- d4rl 存在问题，即使使用错误的 reward，训练出来结果也很好，因此不适用于 reward 学习。
- 因此，LiRE 对 metaworld 和 dmcontrol 收集了新的 medium-replay 数据集，并使用了 IPL 的一部分 medium-expert 数据集，细节见 Appendix C.2。
  - medium-replay：用三个 seed 训 ground truth reward 下的 SAC，当 success rate 达到大概 50% 的时候，就停止训练，把 replay buffer 作为 offline dataset。
  - 然后，对每个数据集，他们验证了使用 0 reward、负 reward 训出来策略的性能不佳，因此适合评测 reward learning。
- 先前工作也有一些自定义数据集，但它们在这个数据集上的实验只使用了 100 个或更少的 feedback，而 LiRE 要使用 500 1000 这个数量级的 feedback。
baselines：
- 马尔可夫奖励（MR）、Preference Transformer（PT），OPRL，Inverse Preference Learning（IPL）、Direct Preference-based Policy Optimization（DPPO）、SeqRank。
- MR 是 PT 的 baseline 之一。PT 的主要贡献是把 reward model 换成 transformer，但是故事很合理。OPRL 的主要贡献是用类似 pebble 的方法选 disagreement 最大的 query。IPL 和 DPPO 没有 reward model，直接优化 policy。
LiRE 的实现细节：
- 对于 LiRE，我们使用线性 reward model，并设置为每个 RLT 的 feedback 预算 Q 为 100：如果反馈的总数为 500，则将构造 5 个 RLT。所有的 offline RL 部分都使用 IQL。Appendix C.4 有超参数之类的具体细节（表 18）。
- preference 的 segment length = 25。因为 metaworld 的 ground truth reward 在 [0, 10] 之间，因此，LiRE 标记 segment reward 之和差异小于 12.5 的 query 为 p=0.5。

5.2 实验结果

实验主要在 LiRE 自己收集的 MetaWorld medium-replay 上做。Meta-World medium-expert 在 Appendix A。
LiRE 声称 PT 跟 MR 差不多；OPRL 因为最小化了（？）reward model 之间的 disagreement，所以性能会有提升；IPL 和 DPPO 基本比不上 MR；但 LiRE 结果很好。

5.3 & 5.4 ablation

LiRE 声称自己的性能提升主要因为 1. 线性 reward model，2. RLT。
- 表 3 显示，线性 reward model 可以有效提高性能（到底是为什么呢……）RLT 也能提高性能。
- 图 2 可视化了 reward model 预测的奖励和 ground truth 奖励的关系，发现无论是 MR 还是 LiRE，线性 reward model 都能得到更与 ground truth reward 线性相关的 reward 预测值，因此认为是更好的（怎么会有这么神奇的事情呢）。
- LiRE 推测，使用线性 reward model 和 RLT 可以更清楚地区分估计奖励的最佳和次优部分，还是在讲二阶偏好的故事。
- Appendix A.5 有线性 reward model 的更多实验。表 12 显示，MR 和 OPRL 换上线性 reward model 后性能都有提升，PT DPPO 性能则有所下降。图 7 声称 online PbRL 中线性 reward model 也可以表现更好。
图 3 做了不同 feedback 数量的 ablation。表 4 做了不同 Q（单个 RTL feedback 预算数量）的 ablation。
图 4 做了 noisy feedback，随机 filp preference 结果。表 5 6 比了 SeqRank。
图 5 改了给 p=0.5 的 reward 阈值。
图 6 把 LiRE 跟 OPRL 和 PT 相结合，发现性能有升有降。
- OPRL 性能下降是因为，基于 disagreement 的 query selection 可能会对相似的 segment pair 过度采样，这些片段可能很难区分。
- PT 的 motivation 是捕获奖励建模中的时间依赖关系，因此它似乎难以从 RLT 中准确捕获二阶偏好信息，可能因为对过去 segment 的过拟合。

5.5 human 实验

表 7 在 button-press-topdown 用了作者打的 200 个 feedback，发现 LiRE 比 MR 和 SeqRank 好。

6 & 7 conclusion

LiRE 的 limitations：
- 一个 RLT 可能无法并行化地构建。
- LiRE 的 RLT 依赖于对 preference 的完备性 + 传递性假设。

上一篇Contrastive Learning 对比学习 | RL 学 representation 时的对比学习

下一篇论文速读记录 | 2024.12

本文作者：MoonOut

本文链接：https://www.cnblogs.com/moonout/p/18578551

posted @ 2024-11-30 16:07 MoonOut 阅读(165) 评论(0) 编辑收藏举报

刷新页面返回顶部

登录后才能查看或发表评论，立即登录或者逛逛博客园首页

历史上的今天：
2023-11-30 PbRL | B-Pref：生成多样非理性 preference，建立 PbRL benchmark

月出兮彩云归 🌙

offline RL · PbRL | LiRE：构造 A>B>C 的 RLT 列表，得到更多 preference 数据

0 abstract