会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
半夜打老虎
博客园
首页
新随笔
联系
订阅
管理
2024年7月28日
Layer Normalization
摘要: 一、Layer Norm 1.1 介绍 LayerNorm(Layer Normalization)是2016年提出的,随着Transformer等模型的大规模推广,LayerNorm出现频率也随之越来越高。其大体思想类似于BatchNorm,对输入的每个样本进行归一化处理,具体就是计算每个输入的均
阅读全文
posted @ 2024-07-28 14:28 半夜打老虎
阅读(57)
评论(0)
推荐(0)
编辑
公告