摘要：
前言 ELECTRA，全称：Efficiently Learning an Encoder that Classifies Token Replacements Accurately，见论文《ELECTRA: Pre-training Text Encoders as Discriminators 阅读全文
2022年6月23日
2022年6月22日
摘要：
前言 谷歌的研究者设计了一个ALBERT（A Lite BERT，ALBERT,精简的BERT），详情见论文《ALBERT: A Lite BERT for Self-supervised Learning of Language Representations》,参数量远远少于传统的 BERT 架 阅读全文
2022年6月20日
摘要：
Subword介绍 分词器是做什么的？ 机器无法理解文本。当我们将句子序列送入模型时，模型仅仅能看到一串字节，它无法知道一个词从哪里开始，到哪里结束，所以也不知道一个词是怎么组成的。所以，为了帮助机器理解文本，我们需要 将文本分成一个个小片段 然后将这些片段表示为一个向量作为模型的输入 同时，我们需 阅读全文
摘要：
从字面上看，预训练模型（pre-training model）是先通过一批语料进行模型训练，然后在这个初步训练好的模型基础上，再继续训练或者另作他用。这样的理解基本上是对的，预训练模型的训练和使用分别对应两个阶段：**预训练阶段（pre-training）**和 微调（fune-tuning）阶段。 阅读全文
摘要：
前言 自回归模型（Autoregressive Model, AR），通过估计一串文本序列的生成概率分布进行建模。一般而言，AR模型通过要么从前到后计算文本序列概率，要么从后向前计算文本序列概率，但不论哪种方式的建模，都是单向的。即在预测一个单词的时候无法同时看到该单词位置两边的信息。假设给定的文本 阅读全文
2022年6月17日
摘要：
前言 Transformer-XL来自于论文《Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context》，Transformer-XL是对Transformer的改进或变种，主要是解决长序列的问题，其中XL表示ex 阅读全文
2022年6月15日
摘要：
题目 n 个孩子站成一排。给你一个整数数组 ratings 表示每个孩子的评分。 你需要按照以下要求，给这些孩子分发糖果： 每个孩子至少分配到 1 个糖果。 相邻两个孩子评分更高的孩子会获得更多的糖果。 请你给每个孩子分发糖果，计算并返回需要准备的最少糖果数目 。 示例 1： 输入：ratings 阅读全文
摘要：
目录： 题目 单调栈法 动态规划法 题目 给定一个仅包含 0 和 1 、大小为 rows x cols 的二维二进制矩阵，找出只包含 1 的最大矩形，并返回其面积。 示例 1： 输入：matrix = [["1","0","1","0","0"],["1","0","1","1","1"],["1" 阅读全文
2022年6月14日
摘要：
https://blog.csdn.net/m0_60346726/article/details/124062653 阅读全文
2022年6月12日
摘要：
https://blog.csdn.net/anlian523/article/details/124731000 阅读全文