什么是Transformer
什么是transformer
参考资料：
https://zhuanlan.zhihu.com/p/82312421
https://zhuanlan.zhihu.com/p/48508221
https://www.51cto.com/article/711953.html
https://www.infoq.cn/article/qbloqm0rf*sv6v0jmulf
https://zh.wikipedia.org/wiki/Transformer%E6%A8%A1%E5%9E%8B
自 2014 年推出以来，基于递归神经网络的序列到序列模型得到了很多人的关注。目前世界上的大多数数据都是以序列的形式存在的，它可以是数字序列、文本序列、视频帧序列或音频序列。
2015 年增加了注意力机制（Attention Mechanism），进一步提高了这些seq2seq模型的性能。在过去的五年里，自然语言处理的进步如此之快，令人难以置信！
Transformer是一种采用自注意力机制的深度学习模型。这一机制可以按输入数据各部分重要性的不同而分配不同的权重。Transformer模型于2017年由谷歌大脑的一个团队推出[2]，现已逐步取代长短期记忆（LSTM）等RNN模型成为了NLP问题的首选模型。
Transformer解决的问题是：
- 同时轻松处理长期依赖（long-range dependencies）问题
结论，这是一个seq2seq的model，对于CV来说，不是非常有借鉴意义。
