Fork me on GitHub
2023年4月23日
费希尔信息数（Fisher Infomation）
摘要： 解释1： 在深度学习中，Fisher信息矩阵（FIM）是一种可以用来表征损失函数的变化，进行二阶优化，和构建几何学习理论的工具。FIM衡量了模型输出对模型参数变化的敏感度。然而，精确的FIM要么不存在闭式解，要么计算代价太高，所以通常根据经验样本来估计。 改善Fisher的条件数意味着降低FIM估计 阅读全文
posted @ 2023-04-23 15:23 stardsd 阅读(1617) 评论(0) 推荐(0) 编辑