学习笔记(37)- CrossWOZ和ConvLab2
本文仅供学习使用
CrossWOZ清华大学CoAI实验室做的任务型中文跨域对话系统数据集,模拟北京游客进行酒店、景点、餐馆、地铁、出租车共5个领域进行对话。
文中详细介绍了多轮对话的NLU、DST、Policy、NLG各个模块。
提供了基准实验,基于ConvLab2和基于规则。
作者解读了自己的论文。
CrossWOZ
大规模中文多域任务型对话数据集
human-to-human dialogue
旅游信息Hotel、Attraction、Restaurant;Metro从旅游信息抽取;Taxi对接API
slot是人工设定的。景点的门票、开放时间;餐馆的菜单等;
NLG: BLUE高不代表生成效果好。
- 采集数据。
- 生成目标。Domain、Slot、Value。随机采样,定义约束。
- 收集对话。构建网站,聘请人工,上下文依赖的对话,保证一致性。
- 对话标注
语料统计
基准
ConvLab-2
PyDial:关注对话策略的强化学习
ParlAI:支持多种任务:阅读理解、QA。需要自己写模块化的代码
ConvLab:模块层次的评估。不是用户模拟器的交互评估,不是机器跟机器的完整对话。corpus表现好,不代表真实表现好。
Rasa和Plato:用于生产环境,工程师快速搭建对话系统。例如公众号,查天气。脱离研究。