【论文阅读】2022-Towards an Online Empathetic Chatbot with Emotion Causes

Towards an Online Empathetic Chatbot with Emotion Causes
2022 小米AI实验室 李嫣然

现有情感感知对话模型都集中在将回复内容与特定的情感类别进行对齐，忽略了理解和关注他人感受的过程。论文通过挖掘用户情感的诱发原因，从而生成移情回复。为了收集在线环境中的情绪原因，利用咨询策略，开发了一个同理心聊天机器人来利用情绪的因果信息。

通常，开放域的聊天机器人是通过社交媒体平台的 "伪 "对话进行训练的，与消息应用程序和聊天机器人这样的私人渠道相比，人们通过社交媒体平台更愿意表达负面情绪。

将EmpatheticDialogues数据集中的对话与通过小爱同学收集的真实在线对话进行对比。发现在EmpatheticDialogues数据集中，89%的对话以说话者表达他们的情绪原因开始，但只有7%的在线日志包含用户的情绪原因。换句话说，在线用户往往不会主动披露他们的情绪原因，而且如果聊天机器人没有明确询问，他们可能不会透露原因。

受心理研究启发，基于用户的情感诱因设计了在线共情聊天机器人EMMA。
对话开始时：

1. 通过BERT挖掘用户情感类别，并识别情感诱因。
   • 若没有挖掘到情感诱因，EMMA会通过有效提问与积极聆听引导用户主动披露原因。（两种策略）
2. EMMA基于对话历史、挖掘到的情感类别及情感诱因生成共情回复。

本文贡献：

1. 验证了情感诱因对于共情回复生成的重要性

2. 通过利用两种咨询策略得到的因果情感信息，开发了在线共情聊天机器人EMMA
   

3. 基于真实的在线记录，设计了大规模共情对话数据集X-EMAC，并手动标注了情感诱因
   

4. 验证了所提方法的有效性

EMMA

输入为\(X\)，历史对话为\(H\).
为了生成更具共情的回应，利用了情感信息：情感标签\(L\)，情感诱因\(C\)。从而生成回应\(Y\)的条件概率:

\[P_{Y}=\prod_{i=1}^{T} P\left(y_{t} \mid y_{0: t-1}, X, H, L, C\right) \]

当没有历史对话时，EMMA的输入为：

\[\textrm{[CLS]query[SEP]emotional label[SEP]hasCause[SEP]Cause[SEP]} \]

当hasCause为[None]时，EMMA将通过积极聆听与有效提问策略来生成回应。

其中，情感类别(情感分类)与情感诱因(阅读理解)通过BERT联合学习两个任务得到。

随着对话继续，EMMA将历史对话信息考虑在内，输入变为：

\[\textrm{[CLS][speaker1]q1[speaker2]r1 [speaker1]q2[sep]label[SEP]hasCause[SEP]Cause[SEP]} \]

基于GPT预训练模型，EMMA还包括了多个多头自注意力机制blocks。

实验

数据集划分： 8:1:1
分词：jieba，词典包含1998个词
词向量维度：768
warmup epoch:1
maximum lr: 5e-3
optimizer: AdamW
gradient accumulation: 64

评价指标

1. PPL(Perplexity)，Distinct n-grams，表示生成回应的流畅度与信息量。
2. Empathy, relevance，基于专家的3级人类判断
3. NSV，基于用户的在线评估

实验结果

实验分析

...