论文阅读-2021.11.06

论文阅读-2021.11.06

Backward Q-learning: The combination of Sarsa algorithm and Q-learning

自适应Q-learning

算法描述

• 初始化Q表，设置 $T{H}_P、T{H}_N、C、\beta \mathrm{和}k$
• 循环（轮次episode）：
  • 随机状态或初始化状态
  • 循环（步step）：
    • 根据Q表使用策略函数从状态 $s_t$ 选择动作 $a_t$
    • 使用动作 $a_t$ ，获得回报 $r_{t+1}$
    • 如果 $T{H}_N-kt<\underset{a}{max}Q(s_{t+1},a)<T{H}_P+kt$ 那么：
      • ${\gamma }_t(\delta ,{\gamma }_{t-1})={\gamma }_{initial}$
      • ${\alpha }_t(\delta ,t)={\alpha }_{initial}$
    • 否则：
      • ${\gamma }_t(t,{\gamma }_{t-1})=tanh(t{\gamma }_{t-1})$
      • $\delta =r_{t+1}+{\gamma }_t(t,{\gamma }_{t-1})\underset{a}{max}Q(s_{t+1},a)-Q(s_t,a_t)$
      • ${\alpha }_t(\delta ,t)=\tanh (\beta |\delta |/t)$
    • $T(t)=C/t,C\in N$
    • $Q(s_t,a_t)\leftarrow Q(s_t,a_t)+{\alpha }_t(\delta ,t)\delta$
    • $s_t\leftarrow s_{t+1}$
  • $s_t$ 为终状态时结束循环
• 达到轮次上限时结束循环

其中，$\beta ,k\in R_{+}$ ，且 $\beta ,k\ge 1$ 。

Backward Q-learning（主要）

算法描述

• 随机初始化所有的 $Q(s,a),M$ 和 ${\alpha }_b,{\gamma }_b$

• 对每一轮次：

  • 随机选择一个状态或初始化 $s_t$

  • 使用策略函数从Q表中选择 $s_t$ 下的动作 $a_t$

  • 对每个时间步 $N$

    • 挑选动作 $a_t^i$ 与环境交互，然后得到一个回报 $r_{t+1}^i$ 和观察到的状态 $s_{t+1}^i$

    • 使用策略函数从Q表中选择 $s_{t+1}^i$ 下的动作 $a_{t+1}^i$

    • 记录： $M^i\leftarrow s_t^i,a_t^i,r_{t+1}^i,s_{t+1}^i$

    • 根据下列公式更新 $Q(s_t^i,a_t^i)$

      $$Q(s_t^i,a_t^i)\leftarrow Q(s_t^i,a_t^i)+\alpha (r_{t+1}^i+\gamma \underset{a}{max}Q(s_{t+1}^i,a)-Q(s_t^i,a_t^i))$$

    • $s_t^i\leftarrow s_{t+1}^i;a_t^i\leftarrow a_{t+1}^i;i\leftarrow i+1$

  • 达到最终状态 $s_t$ ，退出循环

  • $Forj=Nto1$

  • 根据下列公式，回溯更新 $Q(s_t^j,a_t^j)$

    $$Q(s_t^j,a_t^j)\leftarrow Q(s_t^j,a_t^j)+{\alpha }_b(r_{t+1}^j+{\gamma }_b\underset{a}{max}Q(s_{t+1}^j,a)-Q(s_t^j,a_t^j))$$

  • $Endfor$

  • 初始化 $M$

  • 用降温准则重新计算温度参数（存疑）

• 达到轮次上限，结束循环。