机器学习---算法学习3

词向量:

将词语"嵌入"到一个N维空间，使得词语相近的词语放到相近的位置。

机器翻译类不类似于矩阵的变换？

谷歌出品的一个工具Word2Vec，用于入门。

句向量？段向量？文档向量?

很多事情向量化，可以解决很多问题。

 

传统的one-hot 编码的原来是，有多少个字就有多少个维度.

科[1,0,0,0,0,0,0,0]

学[0,1,0,0,0,0,0,0]

one hot -- >词向量表(全连接的大矩阵)-->输出(该词的矩阵)

Embedding层就是one hot 层。

 

时间序列:每次作预测都是一个序列， 序列每个时间点都有若干个属性，实际上是一个矩阵的输入。

 

递归神经网络(RNN)原理:第一次输出的结果与第二次输入进行联合预测得到的二次输出的结果，第二次与第三次联合预测......不断递归。

 

长短时递归神经网络(LSTM)：在传统的RNN上加入"门"，专门用于解决序列类型的神经网络，LSTM是文本领域的王牌。