强化学习读书笔记 - 01 - 强化学习的问题

强化学习读书笔记 - 01 - 强化学习的问题

Reinforcement Learning: An Introduction, Richard S. Sutton and Andrew G. Barto c 2014, 2015, 2016

什么是强化学习(Reinforcement Learning)

强化学习是一种通过交互的目标导向学习方法，或者说是计算方向。
不同于监督学习和非监督学习。
监督学习是通过已标签的数据，学习分类的逻辑。
非监督学习是通过未标签的数据，找到其中的隐藏模式。

强化学习的特点：

• 符合行为心理学。
• 一种探索(exploration)和采用(exploitation)的权衡
  强化学习一面要采用(exploitation)已经发现的有效行动，
  另一方面也要探索(exploration)那些没有被认可的行动，已找到更好的解决方案。
• 考虑整个问题而不是子问题
• 通用AI

强化学习的四元素

• 政策 (policy)
  环境的感知状态到行动的映射方式。
• 奖赏信号 (reward signal)
  定义强化学习问题的目标。
• 评估方法 (value function)
  一个状态的价值就是从这个状态开始，期望在未来获得的奖赏。是指一种长期目标。
• 环境模型 (optional a model of environment)
  模拟环境的行为。

强化学习的历史

两条主线：

• 起源于动物学习心理学的试错法(trial-and-error)。
• 优化控制(optimal control) - 评估方法(value function)，动态编程(dynamic programming)，差分计算(temporal difference)。

参照

• Reinforcement Learning: An Introduction, Richard S. Sutton and Andrew G. Barto c 2014, 2015, 2016