随笔分类 - Pytorch
摘要：项目地址：https://github.com/jiangnanboy/t5-onnx-corrector t5纠错模型及配置可自行下载 -> https://huggingface.co/shibing624/mengzi-t5-base-chinese-correction。 原始模型文件组成：
阅读全文
摘要：项目地址：https://github.com/jiangnanboy/model2onnx 一.将roberta模型转为onnx，并对[MASK]进行推理预测。 二.将macbert模型转为onnx，并对中文进行拼写纠错。 一.roberta-onnx（对中文句子[MASK]预测） 将模型转为on
阅读全文
摘要：参考我之前的一个项目给定title和keywords利用gpt2生成文本，从中可以看出只是利用了gpt2模型，没有其它模型上的改动或组合，变化的只是input部分，在input中，加入了title和keywords两部分。那么训练时候的model输入，就会有三部分：[BOS] + title + [
阅读全文
摘要：albert-fc for RE(Relation Extraction)，中文关系抽取 项目地址：https://github.com/jiangnanboy/albert_re 概述 关系抽取是指从非结构化文本中抽取语义关系的一项基本任务。提取出来的关系通常发生在两个或多个特定类型的实体之间(例
阅读全文
摘要：albert-crf for SRL(Semantic Role Labeling)，中文语义角色标注 项目地址：https://github.com/jiangnanboy/albert_srl 概述 自然语言的语义理解往往包括分析构成一个事件的行为、施事、受事等主要元素，以及其他附属元素（adj
阅读全文
摘要：albert-crf 项目地址：https://github.com/jiangnanboy/albert_ner 概述 利用huggingface/transformers中的albert+crf进行中文实体识别 利用albert加载中文预训练模型，后接一个前馈分类网络，最后接一层crf。利用al
阅读全文
摘要：gnn for link prediction（gnn4lp） 项目地址：https://github.com/jiangnanboy/gnn4lp 利用图神经网络进行链接预测（link prediction）。 Guide Intro Model Dataset Install Cite Refe
阅读全文
摘要：gcn for prediction of protein interactions 项目地址：https://github.com/jiangnanboy/gcn_for_prediction_of_protein_interactions 利用各种图神经网络进行link prediction o
阅读全文
摘要：CNN4IE 项目地址：https://github.com/jiangnanboy/CNN4IE 中文信息抽取工具。使用CNN的不同变体进行信息抽取，以后会持续加入不同模型。该项目使用pytorch，python开发。 CNN4IE将各种改进版本的conv进行改动用于中文信息抽取。 Guide I
阅读全文
摘要：RNN4IE 项目地址：https://github.com/jiangnanboy/RNN4IE 本项目是本人在rnn基础上做的一些改动，用于信息抽取。 中文信息抽取工具。使用RNN的不同结构进行信息抽取，该项目使用pytorch，python开发。 Guide Intro Model Evalu
阅读全文
摘要：CNN4IE 项目地址：https://github.com/jiangnanboy/CNN4IE 本项目是本人打算使用CNN的不同变体进行信息抽取，未来会持续加入不同模型。 CNN4IE根据CNN的各种改进版本，对不同模型块进行融合，并将其用于中文信息抽取中。 Intro 目前主要实现中文实体抽取
阅读全文
摘要：一.关于gpt2的理论网上有很多资料(推荐https://jalammar.github.io/illustrated-gpt2/)，它源自transformer-decoder部分，话不多説。 下图是transformer、gpt以及gpt2的简要结构图，可以从中简单看出其中不同的部分： 和tra
阅读全文
摘要：一.模型结构 实现一个简单的孪生网络（结构如上图），做语义相似度： 1.从上图可看出整体的结构相对较简单，左右两边基本一致。A句和B句分别进入左右两个结构。输入到网络中是token embedding + position_embedding 2.再经过cnn-encoder进行编码 3.多头注意力
阅读全文
摘要：一.简介 此模型采用bertBERT for Joint Intent Classification and Slot Filling进行意图识别与槽填充。 结构如下： 从上可知： 1.意图识别采用[cls]的输出进行识别 2.槽填充直接输出对应的结果进行序列标注，这里不使用mlm中的mask 3.
阅读全文
摘要：一.简单介绍 此模型是对Convolutional Sequence to Sequence Learning中的encoder部分进行的改进。 原模型是用于机器翻译，这里我将稍加修改用来做问答中的slot filling和intent detection联合建模。 整体修改主要有以下几点： 1.使
阅读全文
摘要：此分类模型是来自序列模型Convolutional Sequence to Sequence Learning，整体构架如上图所示。 原论文是用来做语言翻译，这里我将稍微修改用来做问答中的slot filling和intent detection联合建模。 本项目中的图片和原始代码是改自https:
阅读全文
摘要：此分类模型是来自序列模型Convolutional Sequence to Sequence Learning中的encoder部分，这里暂且叫它带残差的cnn model，如上图所示。 1.句子token和其对应的position经过embedding后，逐元素加和作为source embeddi
阅读全文
摘要：在《Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling》中的模型attention-based rNN model基础上，提出了slot-gate门。 通过slot-g
阅读全文
摘要：一.智能对话中的意图识别和槽填充联合建模，类似于知识图谱中的关系提取和实体识别。一种方法是利用两种模型分别建模；另一种是将两种模型整合到一起做联合建模型。意图识别基本上是文本分类，而槽填充基本上是序列标注。本方法是基于文章《Attention-Based Recurrent Neural Netwo
阅读全文
摘要：功能主要包括学科知识图谱以及题目知识点追踪、关系查询、问答及知识点预测等。 前端页面参考：https://github.com/qq547276542/Agriculture_KnowledgeGraph，在此表示非常感谢。 此项目也参考了作者之前的电影图谱：https://github.com/j
阅读全文
