Python · Jax | 在 python 3.8 上安装 jax,运行 offline RL 的 IQL
摘要:
在 python 3.8 上安装 jax,运行 offline RL 的 IQL。
Python · MuJoCo | MuJoCo 与 mujoco_py 的版本对应,以及安装 Cython<3
摘要:
MuJoCo 210 ~ mujoco_py==2.1.2.14,MuJoCo 200 ~ mujoco_py==2.0.2.8
offline RL · PbRL | LiRE:构造 A>B>C 的 RLT 列表,得到更多 preference 数据
摘要:
LiRE 的主要贡献(故事):1. 构造 A>B>C 的 RLT,利用二阶偏好信息;2. 使用线性 reward model,提升 PbRL 性能。
Contrastive Learning 对比学习 | RL 学 representation 时的对比学习
摘要:
在 RL 的 representation learning 中,应用对比学习思想和 InfoNCE loss。
PbRL | Christiano 2017 年的开山之作,以及 Preference PPO / PrefPPO
摘要:
Deep reinforcement learning from human preferences 论文阅读,以及 PrefPPO 算法阅读。
RL 基础 | 如何使用 OpenAI Gym 接口,搭建自定义 RL 环境(详细版)
摘要:
需实现 env.__init__() , obs = env.reset() , obs, reward, done, info = env.step(action) 函数。
(已解决)OpneGL · MuJoCo · Metaworld | RuntimeError: Failed to initialize OpenGL, assert mdl is not None, AssertionError
摘要:
在命令行执行 unset LD_PRELOAD
MuJoCo | 在 Linux 服务器安装 MuJoCo 210
摘要:
官方教程:https://gist.github.com/saratrajput/60b1310fe9d9df664f9983b38b50d5da
Conda | 如何(在新服务器上)复制一份旧服务器的 conda 环境,Linux 服务器
摘要:
conda env export -n old_env > old_env_conda.yml , conda env create -n new_env -f old_env_conda.yml
如何免密码登录 Linux 服务器 · ssh 密钥
摘要:
在远程创建 ~/.ssh/authorized_keys,把本地 .ssh/id_rsa.pub 的内容追加到 authorized_keys 里。
PbRL | RIME:用交叉熵 loss 大小分辨 preference 是否正确 + 内在奖励预训练 reward model
摘要:
① 假设正确样本的 CELoss 上限是 ρ,可推出错误样本相对 P_ψ(x) 分布的 KL 散度上限,从而筛出可信样本、翻转不可信样本;② 用归一化到 (-1,1) 的 intrinsic reward 预训练 reward model。
关于 KL 散度和变分推断的 ELBO
摘要:
ELBO 用于最小化 q(z|s) 和 p(z|s) 的 KL 散度,变成最大化 p(x|z) 的 log likelihood + 最小化 q(z|s) 和先验 p(z) 的 KL 散度。
python · pandas |(已解决)AttributeError: 'DataFrame' object has no attribute 'append'
摘要:
使用 df.loc[len(df)] = {'key1': 123, 'key2': 234}
如何将 iPhone 的照片同步到 windows 电脑上(非常快,不耗流量)
摘要:
电脑端:在同一个局域网下 + 共享文件夹;手机端:文件 app 连接服务器 + 照片 保存到文件。
RL 基础 | Policy Gradient 的推导
摘要:
如果想最大化期望下的 R(τ),那么策略梯度 = R(τ) · Σ ▽log π(a|s) ,即 discounted return × Σ 梯度 log [选取该 action 的概率] 。
offline RL | D4RL:最常用的 offline 数据集之一
摘要:
① medium:中等策略。② random:随机策略。③ medium-replay:训到中等策略的整个 replay buffer。④ medium-expert:等量混合专家数据和次优数据(次优或随机策略)。
Contrastive Learning 对比学习 | 何恺明大神的 SimSiam
摘要:
主要 trick:① 更新 A 时把 B stop-gradient,② 在 encoder 后添加神秘的 MLP 层。
offline RL · PbRL | Preference Transformer:反正感觉 transformer 很强大
摘要:
① 定义 non-Markovian reward 的输入是 trajectory,② 使用 exp Σ w(τ) · r(τ) 的 preference 形式。
贴个不知真假的 representation learning for RL 综述
摘要:
Act as a reinforcement learning expert. Please do a review for representation learning in RL. Should focus on how to map a trajectory to a latent.
offline RL · PbRL | OPPO:PbRL 场景的 offline hindsight transformer
摘要:
将 offline HIM 应用到 PbRL,① 用离线轨迹训练 a=π(s,z) ,② 训练最优 hindsight z* 靠近 z+ 远离 z-。
offline RL | HIM:基于 hindsight 的 RL 是一类大 idea
摘要:
将 offline 训练轨迹中,当前时刻之后发生的事 作为 hindsight,从而训练出 想要达到当前 hindsight 的 action。