【转载】 自然梯度法（Natural Gradient）

原文地址：

https://blog.csdn.net/philthinker/article/details/80615122

 

 

-------------------------------------------------------

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

可以证明：在概率分布函数具备良好性质时， Fisher信息矩阵和KL散度的二阶导数的相反数相等。证明过程非常直接，此处从略。

 

 

 

 

 

 

自然梯度法的目标公式

 

 

 

 

 

 

 

 

-----------------------------------------------