随笔 - 433  文章 - 0 评论 - 2 阅读 - 26万

随笔分类 -  自然语言处理

精读+实现 论文《TRADE》
摘要:论文:《Transferable Multi-Domain State Generator for Task-Oriented Dialogue Systems》 源码:https://github.com/jasonwu0731/trade-dst#zero-shot-dst 参考:https:/ 阅读全文
posted @ 2020-06-16 01:31 西伯尔 阅读(690) 评论(0) 推荐(0) 编辑
BERT和ALBERT区别
摘要:1.ALBERT解决问题 (1)问题 深度学习圈子里一直出现了一些“怪象”,就是堆数据,让模型更复杂,训练出来的效果更好! 之前的BERT,XLNet为什么效果好? 这绝对离不开模型本身的复杂度,一个模型拥有上百亿的参数,效果不好就太对不起我们的资源了。 (2)解决 ALBERT试图解决上述的问题: 阅读全文
posted @ 2020-06-15 04:37 西伯尔 阅读(1652) 评论(0) 推荐(0) 编辑
NLP和KG术语缩写
摘要:1.通用语言理解评估GLUE GLUE是一个用于评估通用 NLP 模型的基准,基于在多种不同语言理解任务集上的评估。 下面选自《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》: The 阅读全文
posted @ 2020-06-14 20:46 西伯尔 阅读(1091) 评论(0) 推荐(0) 编辑
神经网络语言模型NNLM
摘要:先回到2003年的神经网络语言模型NNLM(Neural Network Language Model)。 Bengjo在《A Neural Probabilistic Language Model》提出了神经概率语言模型NPLM,NNLM思想来源于该论文。 参考: https://blog.csd 阅读全文
posted @ 2020-06-14 02:05 西伯尔 阅读(642) 评论(0) 推荐(0) 编辑
NLP(三)Text classification
摘要:导论 自然语言处理,NLP,接下来的几篇博客将从四方面来展开: (一)基本概念和基础知识 (二)嵌入Embedding (三)Text classification (四)Language Models (五)Seq2seq/Transformer/BERT (六)Expectation-Maxim 阅读全文
posted @ 2020-06-14 00:34 西伯尔 阅读(419) 评论(0) 推荐(0) 编辑
序列标注
摘要:1.NER简介 (1)单句子标注任务,又叫命名实体识别(Named Entity Recognition),或者“专名识别”,简称NER,是一个序列标注任务。 (2)NER是指识别文本中具有特定意义的实体,包括三大类(实体类,时间类,数字类),七小类(人名P/PER(person),地名A/LOC( 阅读全文
posted @ 2020-05-21 12:15 西伯尔 阅读(1267) 评论(0) 推荐(0) 编辑
关键词抽取技术TF-IDF和Text Rank
摘要:1.TF-IDF 词频-逆文档频次算法(Term Frequency-Inverse Document Frequency,TF-IDF)是一种统计特征提取算法,评估字或词对于一个文件集或语料库中一份文件的重要程度。 (1)基本思想 重要性与词在整个语料中出现的频次成正比,与出现该词的文档数成反比。 阅读全文
posted @ 2020-05-19 08:52 西伯尔 阅读(271) 评论(0) 推荐(0) 编辑
信息抽取
摘要:一、信息抽取主要包括三个子任务 1.实体抽取与链指:也就是命名实体识别,NER(Name Entity Recognition) 2.关系抽取:通常我们说的三元组(triple)抽取,主要用于抽取实体间的关系。关系抽取,RE(Relation Extraction) (1) 关系抽取通常在NER之后 阅读全文
posted @ 2020-05-18 07:16 西伯尔 阅读(729) 评论(0) 推荐(0) 编辑
2019 ACL对话系统16论文
摘要:本次会议中,Dialog and Interactive Systems 分了三个 section,分别是 Neural Conversation Models, Task-Oriented Dialog, 和 New Task。 1.神经网络对话模型(Neural Conversation Mod 阅读全文
posted @ 2020-05-16 15:46 西伯尔 阅读(404) 评论(0) 推荐(0) 编辑
NLP(五)Seq2seq/Transformer/BERT
摘要:导论 自然语言处理,NLP,接下来的几篇博客将从四方面来展开: (一)基本概念和基础知识 (二)嵌入Embedding (三)Text classification (四)Language Models (五)Seq2seq/Transformer/BERT (六)Expectation-Maxim 阅读全文
posted @ 2020-05-13 16:16 西伯尔 阅读(1861) 评论(0) 推荐(0) 编辑
NLP(四)Language Models
摘要:导论 自然语言处理,NLP,接下来的几篇博客将从四方面来展开: (一)基本概念和基础知识 (二)嵌入Embedding (三)Text classification (四)Language Models (五)Seq2seq/Transformer/BERT (六)Expectation-Maxim 阅读全文
posted @ 2020-05-13 16:10 西伯尔 阅读(321) 评论(0) 推荐(0) 编辑
NLP(一)基本概念和基础知识
摘要:导论 自然语言处理,NLP,接下来的几篇博客将从四方面来展开: (一)基本概念和基础知识 (二)嵌入Embedding (三)Text classification (四)Language Models (五)Seq2seq/Transformer/BERT (六)Expectation-Maxim 阅读全文
posted @ 2020-05-13 14:00 西伯尔 阅读(1941) 评论(1) 推荐(0) 编辑
NLP(二)Embedding
摘要:导论 自然语言处理,NLP,接下来的几篇博客将从四方面来展开: (一)基本概念和基础知识 (二)嵌入Embedding (三)Text classification (四)Language Models (五)Seq2seq/Transformer/BERT (六)Expectation-Maxim 阅读全文
posted @ 2020-05-12 01:00 西伯尔 阅读(566) 评论(0) 推荐(0) 编辑
李宏毅课程——Putting Words into Computers
摘要:ELMO, BERT, GPT讲解 1.导论 (1)过去计算机怎么读人类文字的? 1-of-N Encoding:每个单词有一个编码,但是这样单词之间没有关联。 Word Class:按照类别分,但是太粗糙了,无法细分。 Word Embedding:向量表示,接近的向量有近似的语义。 (2)一个w 阅读全文
posted @ 2020-05-11 06:43 西伯尔 阅读(285) 评论(0) 推荐(0) 编辑
BERT笔记
摘要:1.跑通demo (1) (4)BERT finetuning runner运行 由于本人用的是本机win10+pycharm环境,不是Linux系统,网络上的带参数运行就不能使用,因此需要修改run_classifier.py文件,给参数赋一个默认初值: Linux系统: 换到win10中,需要加 阅读全文
posted @ 2020-04-03 00:32 西伯尔 阅读(144) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示