对话系统 常用术语
单轮对话
一般是基于检索的,回答句对 Or 知识库
评价指标
召回率,准确率,问题解决率
召回率 = 能回答的总数 / 问题总数
准确率 = 正确回答数量 / 问题总数
问题解决率 = 机器人成功解决的问题数量 / 问题总数,该指标一般用来替代准确率(准确率需要人工标记,统计复杂)
机器人成功解决的问题数 = 问题总数 - 转人工客服的问题数量 - 顾客反馈不满意的问题数量
反馈 ,打分机制
难点:
1. 识别同一问题的不同表达方式:希望机器人可以自动的识别不同表达方式
2. 理解语义细微差别,处理差异性问法。
eg: 你能干嘛? 你干嘛的? 你在干嘛? 你干嘛呀!
能否识别类似话剧的语义差切,自动匹配到不同的答案。
3. 聚类高频问题,自动学习优化知识库
机器人必须要有自主学习能力,自动总结及挖掘不在知识库中的高频问句,补充和完善知识库。
多轮对话
指标
任务完成率 = 成功结束的多轮会话数 / 多轮回话总数
但成功结束 不一定意味着问题解决。
何时切换到人工?
定制难度
API接口和开发文档。
支持非AI专业人员开发。
快速搭建。
难点
1. 准确进行语义理解
上下文关联 中途打断回溯 支持指代识别
2. 状态管理及个性化语言生成
一、用户画像管理
二、对话状态管理
意图识别
用户说的话需要参数化的时候 需要用到意图识别(任务型对话), 否则不需要。
意图-> 分类
难点:没有标准,表达差异
基于语义解析:任务型
基于语义解析的常见技术手段
基于语义匹配:问答型
常见技术手段