第1章: 贝叶斯理论下的Transformer揭秘

1，基于Bayesian Theory，融Hard Attention、Soft Attention、Self-Attention、Multi-head Attention于一身的Transformer架构
2，为什么说抛弃了传统模型（例如RNN、 LSTM、CNN等）的Transformer拉开了非序列化模型时代的序幕？
3，为什么说Transformer是预训练领域底层通用引擎？
4，Transformer的Input-Encoder-Decoder-Output模型组建逐一剖析
5，Transformer中Encoder-Decoder模型进行Training时候处理Data的全生命周期七大步骤揭秘
6，Transformer中Encoder-Decoder模型进行Inference时候处理Data的全生命周期六大步骤详解
7，Teacher Forcing数学原理及在Transformer中的应用
8，穷根溯源：为何Scaled Dot-Product Attention是有效的？
9，透视Scaled Dot-Product Attention数据流全生命周期
10，穷根溯源：Queries、Keys、Values背后的Trainable矩阵揭秘
11，当Transformer架构遇到Bayesian理论：Multi-head attention
12，End-to-end Multi-head attention的三种不同实现方式分析
13，透视Multi-head attention全生命周期数据流
14，Transformer的Feed-Forward Networks的两种实现方式：Linear Transformations和Convolutions
15，Embeddings和Softmax参数共享剖析
16，Positional Encoding及Positional Embedding解析
17，Sequence Masking和Padding Masking解析
18，Normal distribution、Layer Normalization和Batch Normalization解析
19，Transformer的Optimization Algorithms数学原理、运行流程和最佳实践
20，Learning rate剖析及最佳实践
21，从Bayesian视角剖析Transformer中的Dropout及最佳实践
22，Label Smoothing数学原理和工程实践解析
23，Transformer背后的驱动力探讨