Batch Normalization和Layer Normalization

Batch Normalization:对一个mini batch的样本,经过一个nueron(或filter)后生成的feature map中的所有point进行归一化。(纵向归一化)

Layer Normalization:对单个样本,经过一个卷积层的所有neuron(或filter)后生成的feature map中的所有point进行归一化。(横向归一化)

posted @ 2019-08-09 18:54  leizhao  阅读(580)  评论(0编辑  收藏  举报