清华大学刘洋--基于深度学习的机器翻译(2)---网络架构设计
神经机器翻译近期的研究进展,主要集中在7个方面
- 网络架构
- 词汇受限
- 先验约束
- 训练准则
- 低资源
- 多模态
- 可视化
1. 网络架构
- 神经网络图灵机:考虑加入了Memory机制
序列拷贝:考虑将序列拷贝应用到机器翻译,但是没有取得理想的效果
利用记忆的机制:在decoder时,加入了Memory的机制
更深层的网络,似乎并没有取得什么显著的效果提升。
卷积序列到序列的学习
RNN:依赖于全部的历史信息,难以进行并行化。
CNN:不依赖于全部历史信息,高度并行化。
Transformer: Attention is All you need