【Stanford - Speech and Language Processing 读书笔记 】7、Neural Networks and Neural Language Models

本章是深度学习的基础， 网上相关资源也很多，不单独码字了。

 

放上总结，方便以后复习：

•神经网络是由神经单元构建而成的，最初是受到人类神经元的启发，但现在只是一个抽象的计算设备。

•每个神经单元将输入值乘以一个权重向量，添加一个偏差，然后应用一个非线性激活函数，如sigmoid, tanh，或校正的线性单元。

•全连接前馈网络中，i层的每个单元与i+1层的每个单元相连接，没有循环。

•神经网络的力量来自于早期层学习表示的能力，这些表示可以被网络中的后期层使用。

•神经网络由梯度下降等优化算法训练。

•误差反向传播，计算图上的反向微分，用于计算网络的损失函数的梯度。

•神经语言模型使用神经网络作为概率分类器，计算给定前n个单词的下一个单词的概率。

•神经语言模型可以使用预训练的嵌入，也可以在语言建模过程中从头学习嵌入。