摘要：
多层感知机中的偏置（bias）项可以看作是每个神经元的一个可训练的常数项，主要区别在于： 不使用偏置时，每个神经元的输出仅由输入和权重的线性组合决定，输出形式为 y = Wx。当激活函数为线性函数（或无激活函数）时，这相当于所有决策边界必须过原点，限制了网络的表达能力。 使用偏置后，输出形式为 y 阅读全文
摘要：
有
摘要：
在原始的 Transformer 模型中，位置嵌入是由正弦和余弦函数组成的，这样设计的原因在于它具有周期性，可以帮助模型处理比训练时更长的序列，同时保持一定的泛化能力。 阅读全文
摘要：
Embedding(词向量参数)计算: 前置条件 词汇量大小 vocab_size=30522 文本输入最长大小 max_position_embeddings=512 句子类型(标记上下文) BERT用了2个句子，为0和1 token_type_embeddings=2 隐藏层 hidden_si 阅读全文
摘要：
13.1.BERT公认的里程碑 BERT 的意义在于：从大量无标记数据集中训练得到的深度模型，可以显著提高各项自然语言处理任务的准确率。 近年来优秀预训练语言模型的集大成者： 参考了 ELMO 模型的双向编码思想、 借鉴了 GPT 用 Transformer 作为特征提取器的思路、 采用了 word 阅读全文
