强化学习中，如何证明：无论初始状态分布是什么，长期平均奖励最终会等于一个固定的值 𝑟 ˉ 𝜋 ，而且可以用状态分布 𝑑 ( 𝑠 ) 和 𝑟 ˉ 𝜋 ( 𝑠 ) r ˉ 来表示。

原证明过程如下，如何理解：

 

通俗易懂的证明过程如下：