摘要：
Bert from transformers import ( BertTokenizer, BertConfig, BertModel, ) # clue/roberta_chinese_base bertTokenizer = BertTokenizer.from_pretrained('ber 阅读全文
摘要：
Numpy中的数据类型 名称描述 bool_ 布尔型数据类型（True 或者 False） int_ 默认的整数类型（类似于 C 语言中的 long，int32 或 int64） intc 与 C 的 int 类型一样，一般是 int32 或 int 64 intp 用于索引的整数类型（类似于 C 阅读全文
摘要：
大体过程 对层数进行剪枝 1、加载预训练的模型； 2、提取所需要层的权重，并对其进行重命名。比如我们想要第0层和第11层的权重，那么需要将第11层的权重保留下来并且重命名为第1层的名字； 3、更改模型配置文件（保留几层就是几），并且将第11层的权重赋值给第1层； 4、保存模型为pytorch_mod 阅读全文
摘要：
首先得明确包和模块。 包：在一个目录下存在__init__.py，那么该目录就是一个包。 模块：一个.py文件就是一个模块。 我们可以通过from 包 import 模块来引入python文件， 也可以使用from 包.模块 import 模块中的函数或类。 具体看一下例子。 假设我们现在有以下的目 阅读全文
摘要：
安装相关包 pip install datasets, transformers 去官网看看有什么数据集 https://huggingface.co/datasets 我们选择其中的一个数据集：cail2018 from datasets import load_dataset datasets 阅读全文
摘要：
主角torch.nn.LSTM() 初始化时要传入的参数 | Args: | input_size: The number of expected features in the input `x` | hidden_size: The number of features in the hidde 阅读全文
摘要：
生成随机矩阵 x = np.random.rand(2,3) array([[0.10786477, 0.56611762, 0.10557245], [0.4596513 , 0.13174377, 0.82373043]]) 计算softmax 在numpy中 y = np.exp(x) / n 阅读全文
摘要：
我们在使用Bert进行微调的时候，通常都会使用bert的隐含层的输出，然后再接自己的任务头，那么，我们必须先知道bert的输出都是什么，本文接下来就具体记录下bert的输出相关的知识。 由于我们微调bert的时候一般选用的是中文版的模型，因此，接下来我们加载的就是中文预训练模型bert。直接看代码： 阅读全文
摘要：
xshell6下载地址 http://www.downza.cn/soft/235505.html xftp6下载地址 http://www.downza.cn/soft/278388.html navicat Navicat Premium 是MySQL，SQL Server，Oracle和Pos 阅读全文
摘要：
具体实例 from transformers import BertTokenizer import os tokens = ['我','爱','北','京','天','安','门'] tokenizer = BertTokenizer(os.path.join('/content/drive/My 阅读全文
