pbc的成长之路

摘要： 多语言模型 大多数模型都是单语言的（英语，汉语，德语）。有一小部分可用的多语言模型，它们与单语言模型有着不同的机制。本篇教程详细叙述这些模型的使用方法。 XLM XLM总共拥有10个不同的checkpoint，只有一个是单语言的。其余9个可以划分为两类：使用了语言嵌入的checkpoint，和没有使 阅读全文

摘要： 分词器简介 在本篇教程中，我们将近距离观看分词。 正如我们在预处理教程中看到的那样，对文本分词就是将其切分成单词或子词，进而可用通过查表的方式获得ids。将单词或者子词转换为ids是非常直接的，因此在本篇中，我们主要关注将文本切分成单词或者子词。更具体来说，我们会看到在Transformers中使用 阅读全文

摘要： 微调预训练模型 使用预训练模型有很多好处。预训练模型节省了你的计算开销、你的碳排放，并且让你能够使用sota模型而不需要自己从头训练。Hugging Face Transformers为你提供了上千种预训练模型，可广泛用于各种任务。当你使用一个预训练模型，你可以在任务特定数据集上训练。这就是著名的微 阅读全文

摘要： Preprocessing 在你可以将你的数据放入模型之前，数据需要处理成一个模型可以接受的形式。一个模型不能理解原始的文本、图像或音频。这些输入需要被转换成数字并组装成张量。在这篇教程当中，我们只介绍用分词器处理文本数据。 NLP 处理文本数据的主要工具是分词器。分词器一开始会根据若干规则将文本切 阅读全文

摘要： Summary of the tasks 本篇介绍最常见的几种任务。可用的模型允许多种不同的配置，并且在使用场景上具有很大的通用性。在这里介绍最简单的几种，并展示在多种任务（问答、序列分类，命名实体识别等）上的使用方法。 这些案例支持auto-model类，通过给定checkpoint实例化一个模型 阅读全文

摘要： Quick tour Pipeline pipeline()是对于给定任务使用预训练模型最简单的方法。 pipeline()支持很多常见任务： 文本： 情感分析：对于给定文本的情感极性进行分类 文本生成（英语）：针对给定输入生成文本 命名实体识别：将文本中的每个实体标注对应的标签 问答：给定一个文本 阅读全文

摘要： 题意 数据范围 \(1 \leq n \leq 1000\) \(1 \leq t_i \leq 10000\) 思路 这道题首先想到的Huffman树，但是因为有字典序的限制，因此字母（叶子节点）在编码树中也应该是从左到右排好的（字典序最小的在最左边）。 对Huffman树的策略进行魔改，发现得到 阅读全文

摘要： 题意 有$n$个积木，给定它们的高度$h_i$，每次可以将某一段区间中的所有高度减一，问最少操作多少次可以将所有高度变成$0$。 数据范围 \(1 \leq n \leq 10^5\) \(0 \leq h_i \leq 10000\) 思路 构造差分序列： \[ b_1 = a_1 \\ b_2 阅读全文

摘要： 题意 我们把一个数称为有趣的，当且仅当： 它的数字只包含 \(0,1,2,3\)，且这四个数字都出现过至少一次。 所有的 \(0\) 都出现在所有的 \(1\) 之前，而所有的 \(2\) 都出现在所有的 \(3\) 之前。 最高位数字不为 \(0\)。 因此，符合我们定义的最小的有趣的数是 \(2 阅读全文

摘要： 代码 /* 思路来源： f(i, j) = max(f(i - 1, j), f(i - 1, j - v) + w, f(i - 1, j - 2 * v) + 2 * w, ..., f(i - 1, j - s * v) + s * w) f(i, j - v) = max( f(i - 1, 阅读全文