文本处理--之模版转换
模型调研:
泰迪熊
语法树
极光
个推
泰迪熊专利
不联网状态下的短信语义识别,保护用户隐私下实现用户短信场景还原,打造基于预训练语言模型的语义模版引擎;
智能短信:结合人工语义-粒度模版-深度学习
1.本地解析,智能识别企业的名称/logo
2.将短信内容本地智能解析,形成结构化卡片视图
3.可基于自然语义解析技术,根据用户场景,精准提供服务
4.专利:一种意图模版库构建方法,装置及存储介质(语义解析)
短信解析引擎:智能短信 内容解析和分类
当下智能短信语义解析领域,有两种方式:语义模版,机器学习/深度学习模型
目的相同,但逻辑实现完全不同,互有优势
泰迪熊目前 以深度学习引擎为主,片段式语义模版引擎为辅 的多样混合引擎方式来进行;
深度学习引擎:
优点:对短信的变化具有更强的适应性,短信内需要提取的字段顺序无论发生怎样的变化,都不会对深度学习引擎提取短信中的关键信息产生很大影响
缺点:错误及时修复能力有限,在特定场景下,短信语义模版很少需要调整,这时就需要 正则引擎 保证卡片的生成速度,确保无论企业用户短信内容如何变化,都能经过泰迪熊的智能短信模版快速完成 模版转化和内容调优;
挑战:传统短信解析为智能短信,需要清楚短信的大概内容:
泰迪熊推出 智能短信范式系统,采用命名实体识别,短信泛化,聚类和最长公共子序列提取的一系列方法,提取出极端接近于群发短信模版的片段式短信场景模版,实现在离线情况,且保护用户隐私情况下对短信内容的提取;