摘要：
1. ERNIE 3.0的设计思路 自回归模型（Autoregressive Model, AR），通过估计一串文本序列的生成概率分布进行建模。一般而言，AR模型通过要么从前到后计算文本序列概率，要么从后向前计算文本序列概率，但不论哪种方式的建模，都是单向的。即在预测一个单词的时候无法同时看到该单词 阅读全文
2022年6月29日
2022年6月28日
摘要：
1.介绍 Transformer网络架构架构由 Ashish Vaswani 等人在 Attention Is All You Need一文中提出，并用于机器翻译任务，和以往网络架构有所区别的是，该网络架构中，编码器和解码器没有采用 RNN 或 CNN 等网络架构，而是采用完全依赖于注意力机制的架构 阅读全文
摘要：
https://zhuanlan.zhihu.com/p/146114164 阅读全文
摘要：
a = dict(((1,3),(0,-1),(4,21))) m = max(a, key=a.get) m 为什么这返回的是与最大值对应的键？ 字典“a”是python中的一个可迭代的结构。当您迭代a时，您将循环使用字典中的键。例子： >>> a = dict(((1,3),(0,-1),(4, 阅读全文
2022年6月26日
摘要：
引言 在读RoBERTa的论文时发现其用于一种叫作BPE(Byte Pair Encoding，字节对编码)的子词切分技术。今天就来了解一下这个技术。 一般对于英语这种语言，尽管词语之间已经有了空格分隔符，但是英语的单词往往具有复杂的词形变换，如果只是用空格进行切分，会导致数据稀疏问题。 传统的处理 阅读全文
2022年6月25日
摘要：
前言 相信做中文NLP的朋友们，对哈工大和科大讯飞发布的一系列中文预训练模型(https://github.com/ymcui/） 并不陌生。它们在各个预训练原论文的基础上，基于中文语料，发布了诸如BERT、RoBERTa、ELECTRA、XLNet等模型，极大推动了中文NLP的发展。 不同的预训练 阅读全文
2022年6月24日
摘要：
1. 前言 spanBERT是专门设计来更好地表示和预测文本的区间的，顾名思义它是BERT的一种扩展。见论文《SpanBERT: Improving Pre-training by Representing and Predicting Spans》,在本文中，作者提出了一个新的分词级别的预训练方法 阅读全文
摘要：
前言 ERNIE 2.0见论文《ERNIE 2.0: A Continual Pre-Training Framework for Language Understanding》，ERNIE2.0的结构与 ERNIE1.0 、BERT 一样，ERNIE2.0主要是从修改预训练任务来提升效果。 从BE 阅读全文
摘要：
前言 ERNIE(知识增强语义表示模型)，是百度发布一个预训练模型，论文全称及链接：《ERNIE: Enhanced Representation through Knowledge Integration》，ERNIE1.0采用与BERT一样的Transformer encoder架构，与BERT 阅读全文
2022年6月23日