任务型对话（二）—— DST（对话状态追踪）

1，概述

　　首先我们来看下对话状态和DST的定义。

　　对话状态：在$t$时刻，结合当前的对话历史和当前的用户输入来给出当前每个slot的取值的概率分布情况，作为DPL的输入，此时的对话状态表示为$S_t$。

　　DST（对话状态追踪）：就是根据所有对话历史信息推断当前对话状态$S_t$和用户目标。

　　由于在ASR和NLU这两个环节会存在误差，因此输入到DST中的内容是N-best列表（对于ASR，不是输入一条句子，而是N条句子，每条句子都带一个置信度。对于SLU，不是输入一条意图（槽值对），而是N个意图（槽值对），每个意图（槽值对）都带一个置信度）。所以DST往往也是输出各个状态的概率分布，这样的表示也方便在多轮对话中对状态进行修改。具体的情况如下图所示：

2，DST的常用方法

　　DST的常用方法主要有三种：基于规则的方法，生成式模型，判别式模型，目前来看判别式模型的表现最好，也是当前研究的最多的方向。

　　1）基于规则的方法

　　基于规则的方法一般是用1-best的结果作为输入，而且输出的状态也是确定型，基于规则的方法需要大量的人工和专家知识，因此在较复杂的场景适用性不强。当然基于规则的方法也有它的优点，基于规则的方法不依赖于对话数据，因此在没有对话数据的情况下很适合冷启动。基于规则的方法用N-best的结果作为输入也有研究，但总的来说实现起来很复杂。

　　2）生成式模型

　　生成式模型主要是利用贝叶斯网络推断来学得整个状态的概率分布，其通用表达式如下：

　　上面式子中$b(s)$代表上一时刻状态的概率分布，$b'(s')$代表当前时刻的状态分布，$u'$代表当前时刻的用户输入，$\tilde{u}'$代表当前用户输入的观测输出，$s'$代表当前时刻的状态，$s$代表上一时刻的状态，$a$代表上一时刻的动作，$\eta$是一个常数。

　　可以看出上面的公式还是比较复杂的，因此实现起来也比较复杂，传统的生成式方法还要列出所有可能的状态，以及状态概率转移矩阵等。

　　3）判别式模型

　　判别模型用一个最简单的公式建模，可以表示成：

　　　　$b'(s') = P(s' | f')$

　　其中$b'(s')$表示当前状态的概率分布，而$f'$表示对ASR/NLU的输入的特征表示，早期的判别模型会利用SVM，最大熵模型，CRF等来建模。随着神经网络的兴起，DNN，RNN等模型也越来越多的占领了这个领域。

3，DSTC数据集

　　DSTC全称为Dialogu State Tracing Challenge（对话状态最终挑战）。在阅读接下来的论文的时候需要对这些数据集有所了解，以DSTC2为例，一个餐馆预定的数据集，数据集中提供了N-best ASR的结果，N-best SLU的结果。还提供了槽以及对应的值的信息。具体的可以去这里下载。

4，判别式模型在DST上的相关工作

　　接下来我们将按照，DNN，RNN，NBT，迁移学习等模型的顺序来介绍一些相关的论文。

　　论文一：Deep Neural Network Approach for the Dialog State Tracking Challenge

　　在判别模型中是把DST当作一个分类问题，并且对ASR/NLU提取相关的特征作为模型的输入，这篇论文提出了一种特征工程来提取N-best NLU的一系列特征，然后用一个前向的DNN来作为分类器，具体的模型结构如下：

　　接下来看下整个输入输出流程：

　　在$t$论对话中给定一个槽$s$，$S_{t, s}$表示在这$t$论对话中每一轮NLU的N-best列表中关于槽$s$所对应的值$v$，为了应对未知的值，还额外给定了一个Unknow来表示未知的值，我们将这$|S_{t, s}| + 1$个值作为模型的输入，那么问题来了我们该怎么去提取这些槽值的特征呢？如上图所示，$f_1, f_2, ......, f_M$就是表示不同的特征，论文中给出了12中特征，为了保证阅读感（主要翻译的不到位），就直接截图了：

　　但是论文的输入并不是对前$t$轮同样的方式处理，而是有区分的处理，从$t$往前数前$T$轮直接用上面12中特征来表示，但是对于$t-T$轮之前的全部相加作为一个整体。那么问题来了，如果$t < T$怎么办，对于$t - T < 0$的情况下，$f_i(t', v) = 0$。

　　对一个slot的不同的值，模型的参数是共享的，而对于不同的slot之间参数是不共享的，也就是说每个slot都有一个属于它自己的分类器。

　　最后的输出结果如下：

　　上面的式子其实类似于softmax，唯一不同的是对于不属于$s$的槽统一用一个参数$B$来处理，而对于属于槽$s$中的值$v$输出是$E(t, v)$。

　　论文二：Word-Based Dialog State Tracking with Recurrent Neural Networks

　　上面的论文是用NLU的结果作为输入，但从这篇文章开始的后几篇文章都直接用ASR（语音识别）的结果作为输入，那这样做的结果有什么好处呢？主要有两个优点：

　　1）NLU单独作为一个子模块的时候，也会产生误差，这样ASR+NLU的误差传递会导致在进入到DST的时候就已经存在较大误差了，因此合并NLU和DST可以减少这种误差传递的影响。

　　2）在对任务型对话系统做评测时，无法判断真个系统产生的错误时来源于哪个子模块的，也就无法有效的定位错误的来源，因此减少子模块可以提高错误定位的准确率。

　　这篇论文时基于词级的对话状态追踪，因为它的输入时N-best ASR的结果，使用RNN模型来序列建模，采用n-grams来提取ASR的特征。同样本篇论文也是对每个slot单独建模，每个模型都是一个多分类器，类别的个数和该slot下对应的value的个数相等。

　　1）特征表示

　　首先来看下是如何利用n-grams来表征输入的，具体的见下图所示：

　　模型的输入除了当前轮的ASR，还有上一轮的对话动作（对话动作表示为act-type (slot = value)），对这两者分别取1-gram，2-gram，3-gram。

　　从上图可以看出，主要包含$f，f_s，f_v$这三种特征，$f$是直接对ASR的结果和对话动作取n-grams的结果，$f_s$和$f_v$都是对$f$中的词进行$tag$（对slot用<slot>替换，对value用<value>）替换得到的模板泛化特征，其中$f_s$是对槽提取的特征，适用于该槽下对应的所有的值，而$f_v$对每个value都进行提取，属于每个值的特有特征，这样做有助于模型泛化。

　然后$f，f_s，f_v$都是有ASR和对话动作两部分连接而成。ASR是N-best列表，分别提取分别取1-gram，2-gram，3-gram，然后对于重合的n-gram就按照置信度相加；对话动作也是同样，不过概率置1；具体可以参考上图，其实本质上就是对ASR和对话动作提取n-gram，进行各种组合，目的是通过这种低阶的多维组合，可以在高层重构出各种特征组合的可能性，来模拟甚至超越人工提取的各种特征。那么每个n-gram怎么用向量表示的呢，我猜应该是类似于one-hot，以$f$为例，将整个训练集提取相应的n-grams，然后将$f$组成一个大的n-gram词汇表$M$，先初始化一个长度为$|M|$的0向量，然后对于当前的输入提去n-gram，再用相应的n-gram的分数去填充那个0向量（以上一段个人猜测，主要是论文中没有提到，不过论文中提到了$f$的维度是高维，达到3500，再加上在计算的过程中一系列的向量拼接操作，所以这也符合这种情况）。

　　2）模型结构

　　输入的表征确定好之后就要看看模型的结构了，模型的结构如下图所示：

　　上图中的$m$是一个记忆向量，$p$是某个slot下对应的value的概率分布，用一个$h$向量来表示特征$f$的低维表示$f, p, m$中的操作符是拼接的意思。

　　然后为了利用$f_s, f_v$的特征，提出了下面的表达式：

　　$g$向量保证了模型的泛化性能，更新$m, p$。

　　论文三：Neural Belief Tracker: Data-Driven Dialogue State Tracking

　　这篇论文提出了NBT这个模型，本论文也是合并了NLU和DST，直接用ASR的结果作为输入，并且引入了词向量来进行表征，整体上理解较上面两篇论文要简单。

　　话不多说，先上一张模型结构图：

　　上图中的最上一层是输入，可以看到总共有三个输入，分别是当前用户的输入$r$，当前的槽值对候选集$c$，上一时刻系统的对话动作$t$。首先我们来看下用户的输入怎么表征：

　　1）用户的输入表征

　　本文对用户的输入$r$分别提出了两种表征方法：NBT-DNN，NBT-CNN。

　　NBT-DNN的结构图如下：

　　具体的表达式如下：

　　上面式子中$u_i$表示句子中第$i$个词的词向量，$V_i^n$表示从第$i$个位置开始取的n个词的向量拼接的结果。其实就是n-gram的方式取词。

　　这里取了1-gram，2-gram，3-gram的结果，最后相加得到用户输入的向量表示$r$。

　　NBT-CNN的模型结构图：

　　其表达式如下：

　　其实这里用卷积替代了n-gram，上面式子中的$n$表示卷积核的大小，$n = 1, 2, 3$，然后用最大赤化获得最终的向量表示：

　　这样就得到了最终的用户输入的向量表示。

　　2）语义解码

　　从第一幅图可以看到，用户的输入$r$和候选的槽值对是有相互作用的，这个相互作用该怎么表示呢？

　　上面$c_s$是槽$s$的词向量，$c_v$是对应的值的词向量，$r$ 和$c$之间是element-wise相乘的。

　　3）上下文建模

　　也是第一幅图中描述的，用户的输入$r$和系统对话动作$t$之间的关系。

　　作者在这里定义了两种系统的动作：一是系统请求用户告知某个槽的值，如“what proce range would you like”，这种请款系统会提到一个槽的信息，用$t_q$表示；二是系统向用户确认槽值对是否正确，如“how about Turkish food ”，在这种请款下用户会提到一对槽值的信息，其中槽用$t_s$表示，值用$t_v$表示。