2024年7月28日
Layer Normalization
摘要： 一、Layer Norm 1.1 介绍 LayerNorm（Layer Normalization）是2016年提出的，随着Transformer等模型的大规模推广，LayerNorm出现频率也随之越来越高。其大体思想类似于BatchNorm，对输入的每个样本进行归一化处理，具体就是计算每个输入的均 阅读全文
posted @ 2024-07-28 14:28 半夜打老虎 阅读(453) 评论(0) 推荐(1) 编辑