自定义Graph Component:1.2-其它Tokenizer具体实现
摘要:本文主要介绍了Rasa中相关Tokenizer的具体实现,包括默认Tokenizer和第三方Tokenizer。前者包括JiebaTokenizer、MitieTokenizer、SpacyTokenizer和WhitespaceTokenizer,后者包括BertTokenizer和Another
阅读全文
posted @
2023-11-14 00:16
扫地升
阅读(281)
推荐(0) 编辑
自定义Graph Component:1.1-JiebaTokenizer具体实现
摘要:JiebaTokenizer类继承自Tokenizer类,而Tokenizer类又继承自GraphComponent类,GraphComponent类继承自ABC类(抽象基类)。本文使用《使用ResponseSelector实现校园招聘FAQ机器人》中的例子,主要详解介绍JiebaTokenizer
阅读全文
posted @
2023-11-12 21:00
扫地升
阅读(59)
推荐(0) 编辑
自定义Graph Component:1-开发指南
摘要:可以使用自定义NLU组件和策略扩展Rasa,本文提供了如何开发自己的自定义Graph Component指南。 Rasa提供各种开箱即用的NLU组件和策略。可以使用自定义Graph Component对其进行自定义或从头开始创建自己的组件。 要在Rasa中使用自定义Graph Component,它
阅读全文
posted @
2023-11-12 20:59
扫地升
阅读(321)
推荐(0) 编辑
rasa train nlu详解:1.2-_train_graph()函数
摘要:本文使用《使用ResponseSelector实现校园招聘FAQ机器人》中的例子,主要详解介绍_train_graph()函数中变量的具体值。 一.rasa/model_training.py/_train_graph()函数 _train_graph()函数实现,如下所示: def _train_
阅读全文
posted @
2023-11-11 22:57
扫地升
阅读(99)
推荐(0) 编辑
rasa train nlu详解:1.1-train_nlu()函数
摘要:本文使用《使用ResponseSelector实现校园招聘FAQ机器人》中的例子,主要详解介绍train_nlu()函数中变量的具体值。 一.rasa/model_training.py/train_nlu()函数 train_nlu()函数实现,如下所示: def train_nlu( confi
阅读全文
posted @
2023-11-11 22:56
扫地升
阅读(112)
推荐(0) 编辑
使用ResponseSelector实现校园招聘FAQ机器人
摘要:本文主要介绍使用ResponseSelector实现校园招聘FAQ机器人,回答面试流程和面试结果查询的FAQ问题。FAQ机器人功能分为业务无关的功能和业务相关的功能2类。 一.data/nlu.yml文件 与普通意图相比,ResponseSelector训练数据中的意图采用group/intent格
阅读全文
posted @
2023-11-11 22:55
扫地升
阅读(279)
推荐(1) 编辑
Rasa NLU中的组件
摘要:Rasa NLU部分主要是解决NER(序列建模)和意图识别(分类建模)这2个任务。Rasa NLP是一个基于DAG的通用框架,图中的顶点即组件。组件特征包括有顺序关系、可相互替换、可互斥和可同时使用。有向无环图(DAG)在很多地方都有用到,比如Spark中等。虽然问答系统类型很多,比如闲聊问答、文档
阅读全文
posted @
2023-11-08 00:25
扫地升
阅读(585)
推荐(1) 编辑
Langchain-Chatchat项目:5.1-ChatGLM3-6B工具调用
摘要:在语义、数学、推理、代码、知识等不同角度的数据集上测评显示,ChatGLM3-6B-Base 具有在10B以下的基础模型中最强的性能。ChatGLM3-6B采用了全新设计的Prompt格式,除正常的多轮对话外。同时原生支持工具调用(Function Call)、代码执行(Code Interpret
阅读全文
posted @
2023-11-06 22:33
扫地升
阅读(2644)
推荐(0) 编辑
Langchain-Chatchat项目:4.2-P-Tuning v2使用的数据集
摘要:本文主要介绍P-tuning-v2论文中的5种任务,分别为Glue任务、NER任务、QA任务、SRL任务、SuperGlue任务,重点介绍了下每种任务使用的数据集。 一.Glue任务 GLUE(General Language Understanding Evaluation)是纽约大学、华盛顿大学
阅读全文
posted @
2023-11-03 23:06
扫地升
阅读(568)
推荐(0) 编辑
Langchain-Chatchat项目:4.1-P-Tuning v2实现过程
摘要:常见参数高效微调方法(Parameter-Efficient Fine-Tuning,PEFT)有哪些呢?主要是Prompt系列和LoRA系列。本文主要介绍P-Tuning v2微调方法。如下所示: Prompt系列比如,Prefix Tuning(2021.01-Stanford)、Prompt
阅读全文
posted @
2023-11-03 00:17
扫地升
阅读(1062)
推荐(0) 编辑