摘要：
概述 Open AI GPT是OpenAI 团队在论文Improving Language Understanding by Generative Pre-Training中提出的预训练语言模型，他们的目标是学习一个通用的表示，能够在大量任务上进行应用。核心思想是先通过无标签的文本去训练生成语言模型 阅读全文
2021年6月7日
2021年6月5日
摘要：
无论是n-gram语言模型(unigram, bigram, tirgram),还是理论上可以记忆无限个单词的无穷元语法(∞-gram)和递归神经网络语言模型(RNN Language Model)，都会涉及到一个最关键的问题：如何来评价这些语言模型的好坏？ 语言模型是很多涉及到产生文字或预测文字概 阅读全文
摘要：
概述 2018年，论文《Deep Contextualized(语境化) Word Representations》中提出了ELMo,即Embeddings from Language Models。作者认为一个预训练的词表示应该具备以下特点： 能够包含丰富的句法和语义信息 能够对多义词进行建模。 阅读全文
摘要：
语言模型简单来说就是一串词序列的概率分布。具体来说，语言模型的作用是为一个长度为m的文本确定一个概率分布P，表示这段文本存在的可能性。在实践中，如果文本的长度较长，$P(w_i | w_1, w_2, . . . , w_{i−1})$的估算会非常困难。因此，研究者们提出使用一个简化模型：n元模型（ 阅读全文
2021年6月4日
摘要：
对应的英文地址The Illustrated Transformer 概述 前一段时间谷歌推出的BERT模型在11项NLP任务中夺得SOTA结果，引爆了整个NLP界。而BERT取得成功的一个关键因素是Transformer的强大作用。谷歌的Transformer模型最早是用于机器翻译任务，当时达到了 阅读全文
2021年6月2日
摘要：
在我们使用transformers进行预训练模型学习及微调的时候，我们需要先对数据进行预处理，然后经过处理过的数据才能“喂”进bert模型里面，这这个过程中我们使用的主要的工具就是tokenizer。你可以建立一个tokenizer通过与相关预训练模型相关的tokenizer类，例如，对于Rober 阅读全文
2021年6月1日
摘要：
通常我们在利用Bert模型进行NLP任务时，需要针对特定的NLP任务，在Bert模型的下游，接上针对特定任务的模型，因此，我们就十分需要知道Bert模型的输出是什么，以方便我们灵活地定制Bert下游的模型层，本文针对Bert的一个pytorch实现transformers库，来探讨一下Bert的具体 阅读全文
2021年5月16日
摘要：
题目描述 Merge k sorted linked lists and return it as one sorted list.Analyze and describe its complexity. /** * Definition for singly-linked list. * stru 阅读全文
摘要：
题目描述 Sort a linked list in O(nlogn) time using constant space complexity. /** * Definition for singly-linked list. * struct ListNode { * int val; * Li 阅读全文
摘要：
题目描述: Given a binary tree, return the postorder traversal of its nodes values. For example: Given binary tree{1,#,2,3}, 1 \ 2 / 3 return[3,2,1]. Note: 阅读全文