强化学习学习笔记(第四章,动态规划)
本章的重点就是计算价值函数,通过DP进行迭代计算。
Vπ(s)的定义式:
迭代计算方式:
以该问题为例,编写代码加深理解:
过程图:
本图中展示的是策略不变的情况。虽然策略没变,但是仍然找到了每个状态的最优动作。
此为模拟程序在策略不改变的情况下展示的结果
策略改变:
添加了基于贪心的策略改进之后,Vπ比原来更优。
代码:
#include <bits/stdc++.h> using namespace std; double eps = 1e-10; double v[2][5][5];//v(s) double q[5][5][5];//q(s,a) double pi[5][5][5]; //π int dx[4] = {1, 0, -1, 0}, dy[4] = {0, 1, 0, -1}; void print(int x) { if(x == 0) printf("down "); if(x == 1) printf("right "); if(x == 2) printf("up "); if(x == 3) printf("left "); } int pos(int x, int y) { return (x - 1) * 4 + y; } int p(int x) { if(x < 0) return 0; if(x > 3) return 3; return x; } void solve(int k) { int now = k & 1; int pre = now ^ 1; memset(v[now], 0, sizeof(v[now])); //迭代 for (int i = 1; i < 15; i++) { int x = i / 4, y = i % 4; for (int j = 0; j < 4; j++) { int tx = p(x + dx[j]), ty = p(y + dy[j]); q[x][y][j] = pi[x][y][j] * (v[pre][tx][ty] - 1.0); if(q[x][y][j] == 0) q[x][y][j] = -1e9; v[now][x][y] += pi[x][y][j] * (v[pre][tx][ty] - 1.0); } } //策略改进 vector<int> tmp; for (int i = 0; i < 4; i++) { for (int j = 0; j < 4; j++) { double mx = -1e9; tmp.clear(); for (int k = 0; k < 4; k++) { if(q[i][j][k] - mx > eps) { mx = q[i][j][k]; tmp.clear(); tmp.push_back(k); } else if(fabs(q[i][j][k] - mx) < eps) { tmp.push_back(k); } } // printf("%d %d ", i, j); memset(pi[i][j], 0, sizeof(pi[i][j])); for (auto x : tmp) { pi[i][j][x] = 1.0 / tmp.size(); } // printf("\n"); } } } void print_table(int now) { for (int i = 0; i < 4; i++) { for (int j = 0; j < 4; j++) { printf("%.1lf ", v[now][i][j]); } printf("\n"); } vector<int> tmp; for (int i = 0; i < 4; i++) { for (int j = 0; j < 4; j++) { double mx = -1e9; tmp.clear(); for (int k = 0; k < 4; k++) { if(q[i][j][k] - mx > eps) { mx = q[i][j][k]; tmp.clear(); tmp.push_back(k); } else if(fabs(q[i][j][k] - mx) < eps) { tmp.push_back(k); } } printf("%d %d ", i, j); for (auto x : tmp) { print(x); } printf("\n"); } } } int main() { int T = 1000; for (int i = 0; i < 5; i++) { for (int j = 0; j < 5; j++) { for (int k = 0; k < 5; k++) { pi[i][j][k] = 0.25; } } } for (int i = 1; i <= T; i++) { solve(i); // int now = T & 1; // print_table(now); } int now = T & 1; print_table(now); }