摘要:
https://blog.csdn.net/Kelly_Ai_Bai/article/details/135081885 05. 为什么transformer块使用LayerNorm而不是BatchNormBatch Normalization 是对这批样本的同一维度特征做归一化, Layer No 阅读全文
摘要:
现代大型语言模型,如GPT-3、GPT-J、和GPT-Neo等,主要采用Decoder-only结构,这是由于几个关键原因: 并行计算:Decoder-only模型在训练时可以采用单向注意力机制,这意味着每个token只关注它之前的token。这种单向性使得模型可以在训练时更容易地并行处理数据,从而 阅读全文
摘要:
可行: https://zhuanlan.zhihu.com/p/702060624 https://zhuanlan.zhihu.com/p/692417348 https://blog.csdn.net/weixin_43564783/article/details/131869748 阅读全文
摘要:
https://blog.csdn.net/Scenery0519/article/details/128081062 nccl-test的测试:https://blog.csdn.net/MrKingloveyou/article/details/136074767 nccl2的调用案例:http 阅读全文
摘要:
Layer Normalization(层归一化)和 Batch Normalization(批量归一化)都是深度学习中常用的归一化技术,用于加速训练过程和改善模型性能。它们的主要区别在于归一化的方式和应用的场景。 Batch Normalization(批量归一化): 归一化方式:Batch No 阅读全文