摘要：
1.背景知识 one-hot → word class → word embedding 不过传统的word embedding解决不了多义词的问题。 2. ELMO 为了解决上述问题，首先有了ELMO。 它是一个双向的RNN网络，这样每一个单词都对应两个hidden state，进行拼接便可以得到 阅读全文
摘要：
1.RNN和CNN的局限性 RNN是seq2seq的模型，RNN不易平行化，如果是单向的话，要输出$b3$，需要先看完$a1, a2, a3$。如果是双向的话，可以看完整个句子。 CNN在高层的时候，可以考虑距离更长的信息，CNN易于并行化。CNN的缺点是，考虑的只是局部内容，要考虑长距信息，需要叠 阅读全文