精读+实现 论文《TRADE》
摘要:论文:《Transferable Multi-Domain State Generator for Task-Oriented Dialogue Systems》 源码:https://github.com/jasonwu0731/trade-dst#zero-shot-dst 参考:https:/
阅读全文
posted @
2020-06-16 01:31
西伯尔
阅读(690)
推荐(0) 编辑
BERT和ALBERT区别
摘要:1.ALBERT解决问题 (1)问题 深度学习圈子里一直出现了一些“怪象”,就是堆数据,让模型更复杂,训练出来的效果更好! 之前的BERT,XLNet为什么效果好? 这绝对离不开模型本身的复杂度,一个模型拥有上百亿的参数,效果不好就太对不起我们的资源了。 (2)解决 ALBERT试图解决上述的问题:
阅读全文
posted @
2020-06-15 04:37
西伯尔
阅读(1652)
推荐(0) 编辑
NLP和KG术语缩写
摘要:1.通用语言理解评估GLUE GLUE是一个用于评估通用 NLP 模型的基准,基于在多种不同语言理解任务集上的评估。 下面选自《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》: The
阅读全文
posted @
2020-06-14 20:46
西伯尔
阅读(1091)
推荐(0) 编辑
神经网络语言模型NNLM
摘要:先回到2003年的神经网络语言模型NNLM(Neural Network Language Model)。 Bengjo在《A Neural Probabilistic Language Model》提出了神经概率语言模型NPLM,NNLM思想来源于该论文。 参考: https://blog.csd
阅读全文
posted @
2020-06-14 02:05
西伯尔
阅读(642)
推荐(0) 编辑
NLP(三)Text classification
摘要:导论 自然语言处理,NLP,接下来的几篇博客将从四方面来展开: (一)基本概念和基础知识 (二)嵌入Embedding (三)Text classification (四)Language Models (五)Seq2seq/Transformer/BERT (六)Expectation-Maxim
阅读全文
posted @
2020-06-14 00:34
西伯尔
阅读(419)
推荐(0) 编辑
序列标注
摘要:1.NER简介 (1)单句子标注任务,又叫命名实体识别(Named Entity Recognition),或者“专名识别”,简称NER,是一个序列标注任务。 (2)NER是指识别文本中具有特定意义的实体,包括三大类(实体类,时间类,数字类),七小类(人名P/PER(person),地名A/LOC(
阅读全文
posted @
2020-05-21 12:15
西伯尔
阅读(1267)
推荐(0) 编辑
关键词抽取技术TF-IDF和Text Rank
摘要:1.TF-IDF 词频-逆文档频次算法(Term Frequency-Inverse Document Frequency,TF-IDF)是一种统计特征提取算法,评估字或词对于一个文件集或语料库中一份文件的重要程度。 (1)基本思想 重要性与词在整个语料中出现的频次成正比,与出现该词的文档数成反比。
阅读全文
posted @
2020-05-19 08:52
西伯尔
阅读(271)
推荐(0) 编辑
信息抽取
摘要:一、信息抽取主要包括三个子任务 1.实体抽取与链指:也就是命名实体识别,NER(Name Entity Recognition) 2.关系抽取:通常我们说的三元组(triple)抽取,主要用于抽取实体间的关系。关系抽取,RE(Relation Extraction) (1) 关系抽取通常在NER之后
阅读全文
posted @
2020-05-18 07:16
西伯尔
阅读(729)
推荐(0) 编辑
2019 ACL对话系统16论文
摘要:本次会议中,Dialog and Interactive Systems 分了三个 section,分别是 Neural Conversation Models, Task-Oriented Dialog, 和 New Task。 1.神经网络对话模型(Neural Conversation Mod
阅读全文
posted @
2020-05-16 15:46
西伯尔
阅读(404)
推荐(0) 编辑
NLP(五)Seq2seq/Transformer/BERT
摘要:导论 自然语言处理,NLP,接下来的几篇博客将从四方面来展开: (一)基本概念和基础知识 (二)嵌入Embedding (三)Text classification (四)Language Models (五)Seq2seq/Transformer/BERT (六)Expectation-Maxim
阅读全文
posted @
2020-05-13 16:16
西伯尔
阅读(1861)
推荐(0) 编辑
NLP(四)Language Models
摘要:导论 自然语言处理,NLP,接下来的几篇博客将从四方面来展开: (一)基本概念和基础知识 (二)嵌入Embedding (三)Text classification (四)Language Models (五)Seq2seq/Transformer/BERT (六)Expectation-Maxim
阅读全文
posted @
2020-05-13 16:10
西伯尔
阅读(321)
推荐(0) 编辑
NLP(一)基本概念和基础知识
摘要:导论 自然语言处理,NLP,接下来的几篇博客将从四方面来展开: (一)基本概念和基础知识 (二)嵌入Embedding (三)Text classification (四)Language Models (五)Seq2seq/Transformer/BERT (六)Expectation-Maxim
阅读全文
posted @
2020-05-13 14:00
西伯尔
阅读(1941)
推荐(0) 编辑
NLP(二)Embedding
摘要:导论 自然语言处理,NLP,接下来的几篇博客将从四方面来展开: (一)基本概念和基础知识 (二)嵌入Embedding (三)Text classification (四)Language Models (五)Seq2seq/Transformer/BERT (六)Expectation-Maxim
阅读全文
posted @
2020-05-12 01:00
西伯尔
阅读(566)
推荐(0) 编辑
李宏毅课程——Putting Words into Computers
摘要:ELMO, BERT, GPT讲解 1.导论 (1)过去计算机怎么读人类文字的? 1-of-N Encoding:每个单词有一个编码,但是这样单词之间没有关联。 Word Class:按照类别分,但是太粗糙了,无法细分。 Word Embedding:向量表示,接近的向量有近似的语义。 (2)一个w
阅读全文
posted @
2020-05-11 06:43
西伯尔
阅读(285)
推荐(0) 编辑
BERT笔记
摘要:1.跑通demo (1) (4)BERT finetuning runner运行 由于本人用的是本机win10+pycharm环境,不是Linux系统,网络上的带参数运行就不能使用,因此需要修改run_classifier.py文件,给参数赋一个默认初值: Linux系统: 换到win10中,需要加
阅读全文
posted @
2020-04-03 00:32
西伯尔
阅读(144)
推荐(0) 编辑