摘要：
零零散散的经验，存下来方便查阅。 阅读全文
摘要：
在简单的真实场景下，列举 git branch 系列命令的使用流程 阅读全文
摘要：
22024.12 | 速读文章记录 阅读全文
摘要：
LiRE 的主要贡献（故事）：1. 构造 A>B>C 的 RLT，利用二阶偏好信息；2. 使用线性 reward model，提升 PbRL 性能。 阅读全文
摘要：
在 RL 的 representation learning 中，应用对比学习思想和 InfoNCE loss。 阅读全文
摘要：
记录一下最近复现 PPO 的过程…… 阅读全文
摘要：
Deep reinforcement learning from human preferences 论文阅读，以及 PrefPPO 算法阅读。 阅读全文
摘要：
需实现 env.__init__() , obs = env.reset() , obs, reward, done, info = env.step(action) 函数。 阅读全文
摘要：
让 GPT 生成 UML 图的 plantUML 代码，然后在 plantUML 网站在线绘制 阅读全文
摘要：
删除 git 目录：rm -rf .git 阅读全文
摘要：
官方教程：https://gist.github.com/saratrajput/60b1310fe9d9df664f9983b38b50d5da 阅读全文
摘要：
ssh-keygen -t rsa，然后将 .ssh/id_rsa.pub 中的内容，复制到 New SSH key 的框里。 阅读全文
摘要：
conda env export -n old_env > old_env_conda.yml , conda env create -n new_env -f old_env_conda.yml 阅读全文
摘要：
Google 搜索官方教程 + 换 tuna 源。 阅读全文
摘要：
在远程创建 ~/.ssh/authorized_keys，把本地 .ssh/id_rsa.pub 的内容追加到 authorized_keys 里。 阅读全文
摘要：
① 假设正确样本的 CELoss 上限是 ρ，可推出错误样本相对 P_ψ(x) 分布的 KL 散度上限，从而筛出可信样本、翻转不可信样本；② 用归一化到 (-1,1) 的 intrinsic reward 预训练 reward model。 阅读全文
摘要：
D_KL(P||Q) = ∫p(x) log p(x) - ∫p(x) log q(x) = H(P) + H(P,Q) 阅读全文
摘要：
ELBO 用于最小化 q(z|s) 和 p(z|s) 的 KL 散度，变成最大化 p(x|z) 的 log likelihood + 最小化 q(z|s) 和先验 p(z) 的 KL 散度。 阅读全文
摘要：
整理并发布本科四年的课程资料。 阅读全文
摘要：
使用 df.loc[len(df)] = {'key1': 123, 'key2': 234} 阅读全文
摘要：
电脑端：在同一个局域网下 + 共享文件夹；手机端：文件 app 连接服务器 + 照片 保存到文件。 阅读全文
摘要：
简单看了一下三大会近期的 Multi-objective RL 工作。 阅读全文
摘要：
【ps -ef | grep '[w]andb'】【pkill -f wandb】 阅读全文
摘要：
在某些契机下，制作了构想很久的个人 icon。 阅读全文
摘要：
如果想最大化期望下的 R(τ)，那么策略梯度 = R(τ) · Σ ▽log π(a|s) ，即 discounted return × Σ 梯度 log [选取该 action 的概率] 。 阅读全文
摘要：
① medium：中等策略。② random：随机策略。③ medium-replay：训到中等策略的整个 replay buffer。④ medium-expert：等量混合专家数据和次优数据（次优或随机策略）。 阅读全文
摘要：
主要 trick：① 更新 A 时把 B stop-gradient，② 在 encoder 后添加神秘的 MLP 层。 阅读全文
摘要：
① 定义 non-Markovian reward 的输入是 trajectory，② 使用 exp Σ w(τ) · r(τ) 的 preference 形式。 阅读全文
摘要：
Act as a reinforcement learning expert. Please do a review for representation learning in RL. Should focus on how to map a trajectory to a latent. 阅读全文
摘要：
将 offline HIM 应用到 PbRL，① 用离线轨迹训练 a=π(s,z) ，② 训练最优 hindsight z* 靠近 z+ 远离 z-。 阅读全文
摘要：
将 offline 训练轨迹中，当前时刻之后发生的事 作为 hindsight，从而训练出 想要达到当前 hindsight 的 action。 阅读全文
摘要：
① sequence: {s, a, R, s, ...}；② 在 s 的 decode 结果上加 MLP 预测 action；③ 给定 return-to-go 作为某种 hindsight。 阅读全文
摘要：
画图代码的存档。 阅读全文
摘要：
Proportional-Integral-Derivative（PID），比例-积分-微分控制。 阅读全文
摘要：
① unlearn：保守 offline RL 训出的 Q function 太小，被 online 的真 reward 量级压制，导致 policy 初始化破坏，性能下降。② 校准：魔改 CQL 惩罚，令 Q_θ ≥ Q_β。 阅读全文
摘要：
在 offline + online buffer 的采样概率，应当与 d^{on}(s,a) / d^{off}(s,a) 成正比（importance sampling）。 阅读全文