自然语言处理 Paddle NLP - 词法分析技术及其应用

基础
自然语言处理（NLP）
自然语言处理PaddleNLP-词向量应用展示
自然语言处理（NLP）-前预训练时代的自监督学习
自然语言处理PaddleNLP-预训练语言模型及应用
自然语言处理PaddleNLP-文本语义相似度计算（ERNIE-Gram）
自然语言处理PaddleNLP-词法分析技术及其应用
自然语言处理PaddleNLP-快递单信息抽取
理解
自然语言处理PaddleNLP-信息抽取技术及应用
自然语言处理PaddleNLP-基于预训练模型完成实体关系抽取--实践
自然语言处理PaddleNLP-情感分析技术及应用-理论
自然语言处理PaddleNLP-情感分析技术及应用SKEP-实践
问答
自然语言处理PaddleNLP-检索式文本问答-理论
自然语言处理PaddleNLP-结构化数据问答-理论
翻译
自然语言处理PaddleNLP-文本翻译技术及应用-理论
自然语言处理PaddleNLP-机器同传技术及应用-理论
对话
自然语言处理PaddleNLP-任务式对话系统-理论
自然语言处理PaddleNLP-开放域对话系统-理论
产业实践
自然语言处理 Paddle NLP - 预训练模型产业实践课-理论

词法分析就是利用计算机对自然语言的形态(morphology) 进行分析，判断词的结构和类别等。”简单而言，就是分词并对每个词进行分类，包括：分词、词性标注、实体识别三个任务

问答
知识图谱，类似一张表， 里面放了 姚明（人） 、妻子（属性）对应的是谁
这张表来源于网页挖掘，也是词法分析，进行对应识别

对话
词法分析得到标签，根据动作进行具体操作

对每个字打标签：B 是一个词的开始，I 是一个词的持续，通过一个公式转换成序列标注

OOV(out of vocabulary) 问题：新词，没有见过的词
将预训练模型插进来进行替换，解决OOV问题

预测有4个词，只有3个和标签标注的一样，它的准确就是 3/4
只有一个错了应该是8/9 实际比它要小，所以说以词为力度去计算是一个更严格的标准。

基于上面的评估方法得到的一个准确率和效果，MSR数据集（分词数据集）BERNIE-CRF效果最好。
最长匹配，准确率还可以，还是有很多地方在使用，高效简单