bert中mask

 bert中n(seq_len)默认是512,通过padding，head_size = 64 hidden_size = 768 默认计算方式是hidden_size / heads(12)  = 64,输入为seq_len(句子长度)*batch(句子个数)*embedingsize

 (44条消息) BERT原理和结构详解_bert结构______miss的博客-CSDN博客

在BERT小模型中，每个head的神经元个数是64，12个head总的神经元的个数即为768，也就是模型介绍时说的H=768。在上图中单个的的Wq,Wk,Wv都是768*64的矩阵，那么Q,K,V则都是512*64的矩阵，Q，K_T相乘后的相关度矩阵则为512*512，归一化后跟V相乘后的z矩阵的大小则为512*64，这是一个attention计算出的结果。12个attention则是将12个512*64大小的矩阵横向concat，得到一个512*768大小的多头输出，这个输出再接一层768的全连接层，最后就是整个muti-head-attention的输出了，如图4所示。整个的维度变化过程如下图所示：