博弈论 斯坦福game theory stanford week 5.0_
博弈论 斯坦福game theory stanford week 5-0
repeated Games 重复游戏
在实际的博弈中，很多的情况不止一次的发生，下面有很多的例子：
- 市场中的公司中的博弈
- 政治的博弈
- 朋友间的交换
- 工人们的相互竞争合作
我们讨论一个案例，那就是opec
他们的油价其实是一个很有趣的博弈：
- 1930年的油价是20，他们相互的竞争
- 1950年，他们开始合作，减少石油的产量，然后油价就开始上升
- 1982 变成来 90元
- 2002年，他们的合作渐渐的减少，油价也开始了下降
他们在这个过程中使用了合作行为。cartel,卡特尔是一种像囚徒困境的一种困局
- 这样的合作需要密切的观察自己的朋友，并且快速的惩罚不合作的博弈者
- 并且需要大多数的博弈者有长远的打算
- 战争并不能达到更大的利益
要衡量这些合作的最终的结果，我们使用一次一侧的进行博弈的方式。
infinitely repeated games： utility 无限重复的游戏，效益
我们要定义游戏的效益。
我们是不是能够把这种情况用拓展形式表现出来呢？
我们这样的博弈是一个无止境的博弈，我们是不是可以这样表示呢？
不过这种无限的形式写出来，我们基本上是无法计算博弈的结果的，因此我们上面学习的表达方式并没有帮助。
因为无限的序列让我们没有办法计算收益，我们可以将我们的收益写成极限形式，就像上面的公式。
那么我们的收入就会变成了平均收入或者稳定收入。
第二个定义是有关未来的利益的未来的尚未计算的收益，
这个收益描述了一种长期的收益，是有关未来的收益预期，他的计算方法是通过一个因此乘上未来的收益，然后求和。
比如我进行投资的时候，可能会先投入大量的前期投入，然后再逐渐的盈利，但是这样做的人有很多，他们主要考虑的就是未来的收入可以非常完美的覆盖现在的付出。
但是未来的收入会有一个贬值因子，因为这里的收入不是立刻马上兑现的，因此我们不能把他们当成100%的金钱看待。
stochastic games 随机博弈
如果我们不借用之前同步博弈的想法，我们说随机博弈是一种重复比赛的概念
在这种博弈中：
- 博弈者随机的从所有的行为集合中选择
- 博弈的进行取决于所有热的之前的选择和之后的选择。
下面有一个示图来讨论这个问题。
再重复博弈中，我们的图形只能被博弈者的行为影响，一次又一次的旋转。但是再随机的博弈中，博弈者可以去选择其他的游戏，而不只是拘泥于单一的游戏中。
这是博弈的完整的定义。
我们，定义了
- 状态集Q
- 博弈者集N
- 行为集合A
- 转移概率函数P（q,a,q'）,描述一个行为a下从一个状态q转移到另一个状态q'的概率。
- 真实收益函数R，描述博弈者的真实收益。
为了简化问题，我们常常假设策略空间再所有的游戏中都向图
可以形成马尔科夫简单代理随机博弈。
重复游戏中的学习
我们会学习到学习的两种形式，在重复游戏中的两种形式。
- fictitious play 虚构游戏
- No-regret learning 无悔学习
不过大体上，在博弈论中的学习是一个比较火热的领域，我们有很多的知识没有接触。
虚构游戏
从纳什均衡开始学习
每一个博弈者explicit对其他的博弈者的行为有一个明确的信念。
他们开始的信念是一种敌对的信念。
在每一回合后，每个博弈者都会评估其他人的策略。
观察对手的行为和结果。
下面我们进行刚刚说的策略的形式化的表述。
- 对于每一个行为a，让w（a）作为其他人使用行为a的次数
- 评估的方法就是他们的收益。
使用如下的公式：
我们举个例子来说，比如说猜硬币游戏，他的博弈的图表是这样的：
| T | H | |
|---|---|---|
| T | 3 ，-3 | -2，2 |
| H | -2，2 | 1，-1 |
那么我们可以假设情况是这样的
在这样的情况下，均衡的情况是会出现的，而且在这种请款下，最终会达到纳什均衡。
无悔学习
首先我们要定义什么是后悔
后悔的定义是这样的，
