摘要： BERT -- Bidirectional Encoder Representations from Transformers 使用 LSTM，数据只能在一个方向以顺序方式读取。虽然双向 LSTM 通过向前和向后读取数据解决了这个问题，但文本仍然是顺序处理而不是并行处理。这就是Transformer 阅读全文