循环神经网络(recurrent neural network,RNN)-------------------------重要结构(长短时记忆网络( long short-term memory,LSTM))

主要介绍循环神经网络在自然语言处理(natural language processing,NLP)

 

传统的机器学习算法非常依赖人工提取的特征,使得基于传统机器学习的图像识别,语音识别以及自然语言处理等问题存在特征提取的瓶颈。而基于全连接神经网络的方法也存在参数太多,无法利用数据中时间序列信息等问题。

 

循环神经网络的主要用途是处理和预测序列数据----为了刻画一个序列当前的输出与之前信息的关系。(循环神经网络的隐藏层之间的结点是有连接的,隐藏层的输入不仅包括输入层的输出,还包括上一时刻隐藏层的输出)  

时刻的概念

 

posted on 2018-09-27 09:43  大灰狼2018  阅读(272)  评论(0编辑  收藏  举报