摘要： 第3章：形式语言与自动机及在NLP中的应用 基本概念： 形式文法、推导、文法的二义性、自动机 文法与自动机之间的关系： 对应与转换 应用举例： 编辑距离 阅读全文

摘要： 第二章 数学基础 概率论基础信息论基础： 熵、联合熵、相对熵、困惑度、互信息、噪声信道模型 熵又称为自信息，表示信息X每发出一个符号（不论发什么符号）所提供的平均信息量。熵也可以被视为描述一个随机变量的不确定性的数量。一个随机变量的熵越大，它的不确定性越大。那么， 正确估计其值的可能性就越小。越不确 阅读全文

摘要： 第一章 绪论 问题的提出 基本概念： NLU、 CL、 NLP CL 计算语言学 侧重于： 基础理论和方法 NLU 自然语言理解 ：模仿人类 自然语言处理方法 和 实现技术 NLP 自然语言处理 ： 对语言文本进行处理和加工 包括对词法 句法 语义和语用等信息的识别 分类 提取 转换和僧成等各种处理 阅读全文

摘要： 玻尔兹曼机 如果发生串扰或陷入局部最优解，Hopfield神经网络就不能正确地辨别模式，如下图。 而玻尔兹曼机（Boltzmann Machine）则可以通过让每个单元按照一定的概率分布发生状态变化，来避免陷入局部最优解。 玻尔兹曼机保持了Hopfield神经网络的假设： 权重对称 自身无连接 二值 阅读全文

摘要： Outline 1 GRU概述 2 前向传播 3 训练过程 1 GRU概述 GRU是LSTM网络的一种效果很好的变体，它较LSTM网络的结构更加简单，而且效果也很好，因此也是当前非常流形的一种网络。GRU既然是LSTM的变体，因此也是可以解决RNN网络中的长依赖问题。 在LSTM中引入了三个门函数： 阅读全文

摘要： 作用： 1. 实现跨通道的交互和信息整合 2. 进行卷积核通道数的降维和升维 （作用1） 图：多通道+多卷积核做卷积示意图。 如图，输入图像layer m-1有4个通道，同时有2个卷积核w1和w2。 对于卷积核w1，先在输入图像4个通道分别作卷积，再将4个通道结果加起来得到w1的卷积输出；卷积核w2 阅读全文

摘要： Outline 前向计算 反向传播 很多事情不是需要聪明一点，而是需要耐心一点，踏下心来认真看真的很简单的。 假设有这样一个网络层： 第一层是输入层，包含两个神经元i1 i2和截距b1； 第二层是隐含层，包含两个神经元h1 h2和截距b2， 第三层是输出o1,o2，每条线上标的wi是层与层之间连接的 阅读全文

摘要： Outline 激活函数 使用逼近器的特点: 较少数量的参数表达复杂的函数 (计算复杂度) 对一个权重的调整可以影响到很多的点 (泛化能力) 多种特征表示和逼近器结构 (多样性) 激活函数 Sigmoid 激活函数 将神经元的输出压缩在 0 和 1 之间 永远都是正数 有界 严格递增 tanh 双曲 阅读全文

摘要： Outline Actor-Critic 优势函数 自然策略梯度 策略梯度算法总结 Actor-Critic 学习价值函数，也学习策略。 使用Critic减少方差： 蒙特卡洛策略梯度具有高方差。 使用critic来评估动作- 价值函数： Actor-critic 算法包含两组参数：Critic 更新 阅读全文

摘要： 一、 概述 强化学习算法可以分为三大类：value based, policy based 和 actor critic。 常见的是以DQN为代表的value based算法，这种算法中只有一个值函数网络，没有policy网络，以及以DDPG,TRPO为代表的actor-critic算法，这种算法中 阅读全文