摘要：
transformer综述：https://arxiv.org/pdf/2009.06732.pdf transformer:Attention Is All You Need 基本构成：编码器+解码器 基本组件： 输入层：词嵌入+位置编码 隐含层：多头注意力机制、残差连接、前馈神经网络、层归一化 阅读全文
摘要：
bert的一些应用：https://github.com/Jiakui/awesome-bert 一些有关bert的论文：https://github.com/tomohideshibata/BERT-related-papers ALBERT: A Lite BERT for Self-super 阅读全文
