强化学习学习笔记（第二章，多臂赌博机）

本章节以多臂赌博机为模型，介绍了若干个在简化环境下的强化学习算法（动作不会影响下一时刻的情景和收益）

1、贪心算法，每次选择期望收益最大的动作

2、ξ-贪心，在贪心算法的基础上，有ξ的概率从所有的动作中等概率选择一个。ξ如果比较大可以更快的找到收益最大的动作，但是会影响选择选择收益最大动作的概率（ξ=0.1时，选择收益最大动作的概率收敛到91%）

3、增量式实现，用常数级的内存消耗和运算时间得到平均值，将平均值的式子变形一下即可：Q(n+1) = Q(n) + 1/n(R(n) - Q(n))

4、非平稳问题，每个动作的收益可能随时间改变，那么需要改变一下更好的处理方式，使得近期收益赋予比过去很早以前的收益更高的权重，常见的方式是步长固定，但是这样会导致最后的估算值受第一个动作的影响而产生偏差，可以用无偏固定步长技巧（练习2.7）

5、基于置信度上界的动作选择，选择可能真实值上界最大的动作，有点像A*算法，上界会随着使用动作次数的增加而减少，随着时间流逝而增加。

6、梯度赌博机算法，引入了偏好函数，偏好函数值越大，动作被选择的概率越大。这里利用的数学技巧，将梯度转化成了数学期望从而可以统计出来。

7、关联搜索，介于K臂赌博机和完整强化学习问题之间。