随笔分类 - Named Entity Recognition
命名实体识别
摘要：albert-crf 项目地址：https://github.com/jiangnanboy/albert_ner 概述 利用huggingface/transformers中的albert+crf进行中文实体识别 利用albert加载中文预训练模型，后接一个前馈分类网络，最后接一层crf。利用al
阅读全文
摘要：CNN4IE 项目地址：https://github.com/jiangnanboy/CNN4IE 中文信息抽取工具。使用CNN的不同变体进行信息抽取，以后会持续加入不同模型。该项目使用pytorch，python开发。 CNN4IE将各种改进版本的conv进行改动用于中文信息抽取。 Guide I
阅读全文
摘要：RNN4IE 项目地址：https://github.com/jiangnanboy/RNN4IE 本项目是本人在rnn基础上做的一些改动，用于信息抽取。 中文信息抽取工具。使用RNN的不同结构进行信息抽取，该项目使用pytorch，python开发。 Guide Intro Model Evalu
阅读全文
摘要：一.简介 此模型采用bertBERT for Joint Intent Classification and Slot Filling进行意图识别与槽填充。 结构如下： 从上可知： 1.意图识别采用[cls]的输出进行识别 2.槽填充直接输出对应的结果进行序列标注，这里不使用mlm中的mask 3.
阅读全文
摘要：一.简单介绍 此模型是对Convolutional Sequence to Sequence Learning中的encoder部分进行的改进。 原模型是用于机器翻译，这里我将稍加修改用来做问答中的slot filling和intent detection联合建模。 整体修改主要有以下几点： 1.使
阅读全文
摘要：一.简介电影知识图谱问答，利用spark，neo4j以及hanlp完成一个简易的电影问答。二.要求 利用java-driver方式，使用cypher和apoc构建节点和关系，使用spark ml完成问句分类。 1.neo4j3.5.3 2.apoc3.5.0.13 3.jdk1.8 4.hanlp1
阅读全文
摘要：一.在实体识别中，bert+lstm+crf也是近来常用的方法。这里的bert可以充当固定的embedding层，也可以用来和其它模型一起训练fine-tune。大家知道输入到bert中的数据需要一定的格式，如在单个句子的前后需要加入"[CLS]"和“[SEP]”，需要mask等。下面使用pad_s
阅读全文
摘要：一.实体识别作为信息抽取中基础的也是重要的一步，其技术可以分为三类，分别是其于规则的方法、其于统计模型的方法以及基于深度学习的方法。 基于规则的方法，主要依靠构建大量的实体抽取规则，一般由具有一定领域知识的专家手工构建。然后将规则与文本进行匹配，识别出实体。 基于统计的方法，需要一定的标注语料进行训
阅读全文
