2023年11月23日
大规模神经网络优化：神经网络损失空间“长”什么样？
摘要： 前言 如何刻画网络的优化性质呢？在优化相关的论文中，通常通过分析 Hessian 矩阵及其特征值，或者将损失函数进行一维或二维的可视化来分析网络的优化性质。我们希望这些指标能够帮助我们更好的理解网络损失的 landscape，优化器优化轨迹的性质等等。我们希望将这些指标刻画的性质与优化器的设计关联起 阅读全文
posted @ 2023-11-23 12:47 CV技术指南（公众号） 阅读(80) 评论(0) 推荐(0) 编辑