摘要：
https://blog.csdn.net/Kelly_Ai_Bai/article/details/135081885 05. 为什么transformer块使用LayerNorm而不是BatchNormBatch Normalization 是对这批样本的同一维度特征做归一化， Layer No 阅读全文
摘要：
现代大型语言模型，如GPT-3、GPT-J、和GPT-Neo等，主要采用Decoder-only结构，这是由于几个关键原因： 并行计算：Decoder-only模型在训练时可以采用单向注意力机制，这意味着每个token只关注它之前的token。这种单向性使得模型可以在训练时更容易地并行处理数据，从而 阅读全文
摘要：
可行： https://zhuanlan.zhihu.com/p/702060624 https://zhuanlan.zhihu.com/p/692417348 https://blog.csdn.net/weixin_43564783/article/details/131869748 阅读全文
摘要：
https://blog.csdn.net/Scenery0519/article/details/128081062 nccl-test的测试：https://blog.csdn.net/MrKingloveyou/article/details/136074767 nccl2的调用案例：http 阅读全文
摘要：
Layer Normalization（层归一化）和 Batch Normalization（批量归一化）都是深度学习中常用的归一化技术，用于加速训练过程和改善模型性能。它们的主要区别在于归一化的方式和应用的场景。 Batch Normalization（批量归一化）： 归一化方式：Batch No 阅读全文