随笔分类 - NLP
摘要:NLP 中文词向量,git地址:https://github.com/Embedding/Chinese-Word-Vectors 条件随机场,文章整理 BiLSTM + CRF 命名实体识别,文章地址 大数据 spark 的推荐系统特征工程;spark 调优;spark与flink 剖析 ;实时数
阅读全文
摘要:目录: 1、Elmo与transformer的简单回顾 2、DAE与Masked Language Model 3、Bert模型详解与不同训练方法 4、如何把bert模型应用到实际项目中 5、如何对bert减肥(优化) 6、bert存在的问题 1、Elmo与transformer的简单回顾 一词多义
阅读全文
摘要:bert作为开创性的模型,可以用于大部分的场景,但也存在一些问题,不能用于生成,训练数据和测试数据的不一致(Discrepancy)。XLnet是比bert更强大的预训练模型,基于permutation实现了真正的双向学习,使用双流自注意力机制,结合transformers-XL的相对位置编码,效果
阅读全文
摘要:自然语言难在哪? 自然语言特点: 1、创新性,新词旧词;2、递归性;递归性为语言带来精确表达的能力;3、多义性,自然语言包含多粒度语言单位:字、词、短语、句子、语篇。自然语言理解的关键目标是自动消歧;4、主观性,与个体的社会阅历相关;5、社会性,社会结构影响人类语言 二、自然语言的未来 1、深度学习
阅读全文
摘要:ALbert第一作者蓝振忠解说: ALBERT的提出就是为了给BERT瘦身,让模型更大的BERT有算力能跑起来。作者通过权值共享和矩阵分解减少参数。降低了空间复杂度,但计算量并没有减少,所以在模型进行下游任务和预测的时候并不会更快。所以作者说现在优化BERT的方法也是往时间复杂度的方向优化。 ALB
阅读全文
摘要:目录: 基础部分回顾(词向量、语言模型) NLP的核心:学习不同语境下的语义表示 基于LSTM的词向量学习 深度学习中的层次表示以及Deep BI-LSTM ELMo模型 总结 1. 基础部分回顾(词向量、语言模型) 1.1 独热编码-词的表示 1.2 词向量-词的表示 我们为什么需要词向量?(On
阅读全文
摘要:NLP 基本知识 NLP问题主要是对字词、短语、句子、篇章的处理,这一切问题主要包含两个层次:结构、语义。解决这些问题离不开两个基本概念:语言模型、序列标注。 一、语言模型 语言模型是指用数学的方法描述语言规律,统计语言模型是用句子A出现的概率p(a)来刻画句子的合理性,常用的有 n-gram模型
阅读全文
摘要:谷歌在2017年发表了一篇论文名字《Attention Is All You Need》,提出了一个基于attention的结构来处理序列模型相关的问题,比如机器翻译。传统的神经机器翻译大都是利用RNN或者CNN来作为encoder-decoder的模型基础,而谷歌最新的只基于Attention的T
阅读全文