2024年8月26日
Why Transformers Need Adam: A Hessian Perspective
摘要： 目录概符号说明所有参数的 Hessian 矩阵Block-wise Hessian代码 Zhang Y., Chen C., Ding T., Li Z., Sun R. and Luo Z. Why transformers need adam: a hessian perspective. ar 阅读全文
posted @ 2024-08-26 17:13 馒头and花卷 阅读(40) 评论(0) 推荐(0) 编辑