NLP - 随笔分类 - suwenyuan

BPTT详解

摘要：一、基本概念 RNN前向传播图对应的前向传播公式和每个时刻的输出公式

S_{t} = t a n h (U X_{t} + W S_{t - 1}) {y_{t}}^{'} = s o f t m a x (V S_{t})

$S_{t}=tanh(UX_t+WS_{t-1}) \qquad \qquad {y_t}'=softmax(VS_t)$ 使用交叉熵为损失函数，对应的每个时刻的损失和总的损失。通常将一整个序列（一个句子）作为一个训练实例，所阅读全文

posted @ 2020-03-07 11:25 suwenyuan 阅读(2188) 评论(0) 推荐(0) 编辑

针对深度学习的文本分类模型盘点

摘要：1.textCNN 优势：短文本分类可参照：https://www.cnblogs.com/AntonioSu/p/11969386.html 2.fast Text 优点：训练速度快 3.HAN(Hierarchical Attention Network) 优点：对文档的分类双向的LSTM，阅读全文

posted @ 2020-02-19 22:59 suwenyuan 阅读(481) 评论(0) 推荐(0) 编辑

ELMo Bert XLnet介绍

摘要：一、ELMo 1.基本信息 2018年提出的论文《Deep contextualized word representations》，其中一个很重要的思想就是ELMo，论文发表在NAACL。 ELMo是一种新型深度语境化词表征，可对词进行复杂特征(如句法和语义)和词在语言语境中的变化进行建模(即对多阅读全文

posted @ 2020-02-18 15:33 suwenyuan 阅读(429) 评论(0) 推荐(0) 编辑

智能问答系统

摘要：一、什么是智能问答？智能问答系统就是基于大量语料数据，通过数学模型，相关编程语言实现的一个能够和人类进行对话，解决问题的一个软件系统。二、智能问答的分类 1、任务型任务型问答就是指在特定场景下，具有比较稳定流程的问答，机器人通过在多轮对话的过程中逐渐完善自己想要获取的信息，通过逐渐完成的信息阅读全文

posted @ 2020-02-13 19:27 suwenyuan 阅读(3010) 评论(0) 推荐(0) 编辑

关于文本翻译的经典论文小结

摘要：2014翻译论文 Sequence to Sequence Learning with Neural Networks 基本信息：2014 nips 6500+ 目标公式：

p (y_{t} | v, y_{1}, . . ., y_{t - 1})

$p(y_t|v, y_1, . . . , y_{ t−1})$ 参数：

y_{t}

$y_t$ 是生成的翻译文本，

v

$v$ 是表达输入文本的阅读全文

posted @ 2020-02-05 13:09 suwenyuan 阅读(394) 评论(0) 推荐(0) 编辑

nlp——词袋模型BOW

摘要：词袋模型也称为BOW，亦即bag of words 下面通过一个列子说明词袋模型有两个文本文档如下A和B： A：John likes to watch movies. Mary likes too.B：John also likes to watch football games. 具体实现方式：阅读全文

posted @ 2020-02-04 14:28 suwenyuan 阅读(341) 评论(0) 推荐(0) 编辑

nlp数据清洗(包括有英文和中文)

摘要：一、英文数据清洗英文数据清洗是去除缩写、非字母符号、专有名词的缩写、提取词干、提取词根。 1.常规的清洗方式去除非字母符号和常用缩写 #coding=utf-8 import jieba import unicodedata import sys,re,collections,nltk from 阅读全文

posted @ 2019-12-16 16:42 suwenyuan 阅读(3122) 评论(0) 推荐(0) 编辑

BLEU METEOR ROUGE CIDEr 详解和实现

摘要：一、指标概述这四种指标都是机器翻译的自动评价指标，对于一些生成式文本任务，也是使用这几种评价指标。二、Bleu原理详解 BLEU是IBM于2002年提出的。我们假定人工给出的译文为reference，机器翻译的译文为candidate。 1.最早的BLEU算法最早的BLEU算法是直接统计cad 阅读全文

posted @ 2019-12-14 22:35 suwenyuan 阅读(3979) 评论(0) 推荐(0) 编辑

Attention 和self-attention

摘要：一、Attention 1.基本信息最先出自于Bengio团队一篇论文：NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE ，论文在2015年发表在ICLR。 encoder-decoder模型通常的做法是将一阅读全文

posted @ 2019-12-10 22:09 suwenyuan 阅读(2198) 评论(0) 推荐(0) 编辑

2018—论文阅读—分类任务

摘要：2018文本分类任务经典论文如下 1.Hierarchical Convolutional Attention Networks for Text Classification 2018 ACL 引用量：5+ ensemble：层级网络、self-attention、卷积、elu 2.Underst 阅读全文

posted @ 2019-12-02 11:07 suwenyuan 阅读(362) 评论(0) 推荐(0) 编辑

2017—论文阅读—分类任务

摘要：2017文本分类任务经典论文如下 1.Very Deep Convolutional Networks for Text Classification 基本信息：2017 aCL 200+ 模型框架：字符级卷积，和resnet结构很相似，最后加了三层全连接层，三次池化，在所有的卷积之后，有一个k-m 阅读全文

posted @ 2019-12-02 11:05 suwenyuan 阅读(422) 评论(0) 推荐(0) 编辑

2016—论文阅读—分类任务

摘要：2016文本分类任务经典论文如下 1.Hierarchical Attention Networks for Document Classification 基本信息:2016 NAACL 800+ 2.Neural Attention Models for Sequence Classificat 阅读全文

posted @ 2019-12-02 11:00 suwenyuan 阅读(140) 评论(0) 推荐(0) 编辑

2015—论文阅读—分类任务

摘要：2015年的经典分类论文整理如下 1.character-level-convolutional-networks-for-text-classification 基本信息：2015 nips 1000+ 模型参数：字符个数70，亦即特征有70；输入长度是1014，每个字母可以是one-hot或者是阅读全文

posted @ 2019-12-02 10:59 suwenyuan 阅读(134) 评论(0) 推荐(0) 编辑

2014—论文阅读—分类任务

摘要：Convolutional Neural Networks for Sentence Classification 基本信息：2014 emnlp 4000+ 适合场景：句子级别分类，亦即短文本分类创新点：开创性的将卷积操作应用到自然语言处理当中模型结构：卷积——依照词的方向，进行一维卷积；池化阅读全文

posted @ 2019-12-02 10:57 suwenyuan 阅读(243) 评论(0) 推荐(0) 编辑

RNN、lstm、gru详解

摘要：一、RNN RNN结构： RNN的结构是由一个输入层、隐藏层、输出层组成：将RNN的结构按照时间序列展开其中

U_{t - 1} 、 U_{t} 、 U_{t + 1}

$U_{t-1}、U_{t}、U_{t+1}$ 三者是同一个值，只是按着时刻称呼不一样而已，对应的W和V也是一样。对应的前向传播公式和对应的每个时刻的输出公式 $S_{t-1}=U_{t- 阅读全文

posted @ 2018-04-11 21:42 suwenyuan 阅读(14994) 评论(0) 推荐(0) 编辑

NLP介绍

摘要：一、什么是NLP NLP(natural language processing)就是用人工智能技术处理自然语言。二、NLP的分类 1.文本分类 2.文本翻译 3.文本理解 4.分词未完待续......... 各种细分方向：https://blog.csdn.net/yeziand01/arti 阅读全文

posted @ 2018-01-26 14:21 suwenyuan 阅读(514) 评论(0) 推荐(0) 编辑

suwenyuan

随笔分类 - NLP

公告

搜索

常用链接

随笔分类

随笔档案

阅读排行榜

推荐排行榜