强化学习——Q学习算法
————————————————————2020.8.11更新————————————————————
强化学习的一些相关概念
- 智能体(Agent): 智能体对环境进行观察,决策出行动,获得一个从环境返回的奖励
- 决策(Decision):意识层面的
- 行动(Action , a):物质层面的
- 环境(Environment):与智能体交互的对象
- 状态(State,s):是历史信息的函数,包含所有已有的信息。
- 奖励(Reward,R):是智能体采取行动后环境的一个反馈
- 策略(Policy):是状态到动作的函数
- 价值函数(Value function):是评价状态的一个指标
- 模型(Model):是个体对环境的建模
例题 1
背景描述:假设某个楼层共有 5 个房间,房间之间通过一道门相连,正如下图所示。我们将
房间编号为房间 0 到房间 4,楼层的外部,编号为 5。注意到房间 1 和房间 4 都可以直接通
到外部 5。
问题:假设有一个机器人对楼层的布局事先不知道,如何让一个机器人,从任意房间出发,能走到外面吗?
从奖励矩阵 R 出发来理解各个概念:
智能体(Agent):机器人
决策(Decision):从当前所在房间准备往哪里去
行动(Action):决策好到哪里去后,行动到那里去
环境(Environment):楼层布局
状态(State):当前所在房间
奖励(Reward):从当前房间走到另一个房间的奖励值(奖励矩阵中-1 表示无效值)
奖励矩阵 R(state, action)或 R(s, a): 每个元素值 R(s,a)表示在当前状态 s 下,采取行动 a 后
的即时奖励。
Q-学习简介
Q 矩阵:跟 R 矩阵维数相同,不同的是 Q(s, a)表示在当前状态 s 下,采取行动 a 后的后续累计奖励。是状态 s 和行动 a的函数, Q(s, a)用于评价当前状态 s 下,采取行动 a的结果好坏,Q也叫动作价值函数
假定已经获得一个最优的 Q 矩阵,则对任意状态 s 出发,到达目标状态的算法如下
步骤 1:随机选择一个初始状态 s
步骤 2:确定行动 a,使它满足 a = argmax{ Q(s , \(\widetilde{a}\))},\(\widetilde{a}\)∈A ,A是所有可能行动集合
步骤 3:令 s = \(\widetilde{s}\),(\(\widetilde{s}\)为执行动作 a 后对应的下一个状态)
步骤 4:返回步骤 2
假定初始状态为 2,根据最优 Q 矩阵,有 2→3→1(4) →5→5;
假定初始状态为 1,根据最优 Q 矩阵,有 1→5→5;
假定初始状态为 0,根据最优 Q 矩阵,有 0→4→5→5;
如何获取最优的 Q 矩阵?
答案:Q-学习算法
Q-学习算法流程
步骤 1:给定奖励矩阵 R 和学习参数 γ,初始化 Q = 0,
步骤 2:随机选择一个初始状态 s,在当前状态 s 的所有可能行动中选取一个行动 a
步骤 3:利用选定的行为 a , 得到下一个状态 \(\widetilde{s}\)
步骤 4:按照转移规则,计算Q(s,a)
步骤 5:s = \(\widetilde{s}\),判断得到的Q矩阵是否收敛,不收敛则返回步骤 2,收敛则退出,完成q矩阵的学习
matlab算法如下
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
% 机器人如何从五个房间中的任意一个走出来?
% 中南大学 自动化学院 智能控制与优化决策课题组
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
% Q学习算法
% function Q = Reinforcement_Learning(R,gamma)
clear all
clc;
format short %显示4位小数
format compact %压缩空格
% 输入: R and gamma
% R:即时奖励矩阵; 行、列表示状态
% -1 = 表示无效值
R = [-1,-1,-1,-1,0, -1;
-1,-1,-1,0,-1, 100;
-1,-1,-1,0,-1, -1;
-1, 0, 0,-1,0, -1;
0,-1,-1,0,-1, 100;
-1,0, -1,-1,0, 100];
gamma = 0.80; % 学习参数
N = size(R,1); % R的行数,所有状态的个数,一行代表一个状态的所有信息
Q = zeros(size(R)); % 初始化Q矩阵,其行数和列数和R一样。Q初始全是0
Q1 = ones(size(R))*inf; % 前一次比较对象,判定收敛,Q初始全是无穷大
count = 0; % 计数器
for episode = 0:50000
% 产生随机初始状态
state = ceil(N*rand); %产生1-N之间的随机数
% 从当前状态出发,选择一个行动
x = find(R(state,:)>=0); % 所有可能行动,R(state,:)代表R的第state行,find(R(state,:)>=0)代表R的第state行里面大于0的数的列位置集合,是个行向量,
%上一句代码理解成找出当前状态可以向那些状态转移
if ~isempty(x) %如果有可以转移的
x1= x((ceil(length(x)*rand))); % 随机选择一个行动,理解成随机向一个状态转移,x1代表第几行(即为第几个状态)
end
qMax = max(Q,[],2); %返回矩阵中每行的最大值,是一个列向量,大小是Q的行数,每行最大值物理含义是这个状态下的最好奖励(最好出路)
Q(state,x1) = R(state,x1) + gamma*qMax(x1); % 转移规则。qMax(x1)代表x1这个状态下的最好奖励
% 判定是否收敛 其实就是前后两个Q矩阵的差很小就认为是收敛了
if sum(sum(abs(Q1-Q)))<0.0001 && sum(sum(Q>0)) %sum(sum(Q>0))代表Q大于0的数的个数,sum(sum(abs(Q1-Q)))代表Q1与Q对应位置相减绝对值之和
if count > 1000 %且学习了超过1千次
disp(strcat('强化学习的总次数: ',num2str(episode)));
break %跳出for循环
else %没有学习了超过1千次
count = count+1;
end
else %不收敛,差距很大
Q1 = Q; %把最新的一个Q作为比较对象,覆盖掉原来的
count = 0;
end
end
% 归一化
Qmax = max(max(Q));%max(max(Q))代表Q里面最大的元素,max(Q)代表每一列最大的元素
if Qmax >0
Q = 100*Q/Qmax;
end
Q
本文来源于中南大学 自动化学院 智能控制与优化决策课题组周晓君老师的学习笔记,加了一些我自己对代码的注释,
还有两个问题未解决
1、Q-学习算法的转移规则可以换成其他的公式来产生新解迭代吗
2、除了Q-学习算法还可以用其他方法来解决Q矩阵的求取吗?
继续学强化学习,看看有啥新的体会与想法没
强化学习学习什么东西?
1、Q矩阵,动作价值函数算出来的一个矩阵,其中的Q(s,a)评价当前状态 s 下,采取行动 a 后的结果好坏程度。
2、策略函数π,π(s,a)代表当前状态 s 下,采取行动 a 的一个概率。当前状态下所有行动的概率和为1.
只要学到其中一个就可以实现对智能体的控制了。上面代码显示的就是第一种——Q矩阵的学习