随笔分类 -  NLP

摘要:NLP 中文词向量,git地址:https://github.com/Embedding/Chinese-Word-Vectors 条件随机场,文章整理 BiLSTM + CRF 命名实体识别,文章地址 大数据 spark 的推荐系统特征工程;spark 调优;spark与flink 剖析 ;实时数 阅读全文
posted @ 2020-09-04 09:47 Christbao 阅读(206) 评论(0) 推荐(0) 编辑
摘要:目录: 1、Elmo与transformer的简单回顾 2、DAE与Masked Language Model 3、Bert模型详解与不同训练方法 4、如何把bert模型应用到实际项目中 5、如何对bert减肥(优化) 6、bert存在的问题 1、Elmo与transformer的简单回顾 一词多义 阅读全文
posted @ 2020-02-25 20:52 Christbao 阅读(703) 评论(0) 推荐(0) 编辑
摘要:bert作为开创性的模型,可以用于大部分的场景,但也存在一些问题,不能用于生成,训练数据和测试数据的不一致(Discrepancy)。XLnet是比bert更强大的预训练模型,基于permutation实现了真正的双向学习,使用双流自注意力机制,结合transformers-XL的相对位置编码,效果 阅读全文
posted @ 2020-02-22 22:00 Christbao 阅读(449) 评论(0) 推荐(0) 编辑
摘要:自然语言难在哪? 自然语言特点: 1、创新性,新词旧词;2、递归性;递归性为语言带来精确表达的能力;3、多义性,自然语言包含多粒度语言单位:字、词、短语、句子、语篇。自然语言理解的关键目标是自动消歧;4、主观性,与个体的社会阅历相关;5、社会性,社会结构影响人类语言 二、自然语言的未来 1、深度学习 阅读全文
posted @ 2020-02-20 22:05 Christbao 阅读(311) 评论(0) 推荐(0) 编辑
摘要:ALbert第一作者蓝振忠解说: ALBERT的提出就是为了给BERT瘦身,让模型更大的BERT有算力能跑起来。作者通过权值共享和矩阵分解减少参数。降低了空间复杂度,但计算量并没有减少,所以在模型进行下游任务和预测的时候并不会更快。所以作者说现在优化BERT的方法也是往时间复杂度的方向优化。 ALB 阅读全文
posted @ 2020-02-20 20:42 Christbao 阅读(401) 评论(0) 推荐(0) 编辑
摘要:目录: 基础部分回顾(词向量、语言模型) NLP的核心:学习不同语境下的语义表示 基于LSTM的词向量学习 深度学习中的层次表示以及Deep BI-LSTM ELMo模型 总结 1. 基础部分回顾(词向量、语言模型) 1.1 独热编码-词的表示 1.2 词向量-词的表示 我们为什么需要词向量?(On 阅读全文
posted @ 2020-02-19 20:24 Christbao 阅读(614) 评论(0) 推荐(0) 编辑
摘要:NLP 基本知识 NLP问题主要是对字词、短语、句子、篇章的处理,这一切问题主要包含两个层次:结构、语义。解决这些问题离不开两个基本概念:语言模型、序列标注。 一、语言模型 语言模型是指用数学的方法描述语言规律,统计语言模型是用句子A出现的概率p(a)来刻画句子的合理性,常用的有 n-gram模型 阅读全文
posted @ 2020-01-21 16:15 Christbao 阅读(1594) 评论(0) 推荐(0) 编辑
摘要:谷歌在2017年发表了一篇论文名字《Attention Is All You Need》,提出了一个基于attention的结构来处理序列模型相关的问题,比如机器翻译。传统的神经机器翻译大都是利用RNN或者CNN来作为encoder-decoder的模型基础,而谷歌最新的只基于Attention的T 阅读全文
posted @ 2020-01-16 14:50 Christbao 阅读(953) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示