摘要：
下载fdm：https://blog.csdn.net/HaoZiHuang/article/details/111581081 把链接后的加上或者改成 dl=1：https://blog.csdn.net/weixin_46233323/article/details/105701376 阅读全文
摘要：
动机：在看BertForMaskedLM 的实现代码时，发现在class init的时候有一个self.post_init() 函数，希望看一下它内部调用的哪个函数，以及如果我们自己定义了一些新的模型参数或者embedding怎么进行初始化？ 在代码里有两个init_weights 函数，分别是po 阅读全文
摘要：
PyTorch二分类时BCELoss，CrossEntropyLoss，Sigmoid等的选择和使用 这里就总结一下使用PyTorch做二分类时的几种情况： 总体上来讲，有三种实现形式： 最后分类层降至一维，使用sigmoid输出一个0-1之间的分数，使用torch.nn.BCELoss作为loss 阅读全文
摘要：
参考链接： bertviz github 使用指南：BERT可视化工具bertviz体验 一些bert中存在的模式解析：Deconstructing BERT, Part 2: Visualizing the Inner Workings of Attention，最强NLP模型BERT可视化学习 阅读全文
摘要：
读取并导出Tensorboard中数据 读取tensorboard日志数据 代码 from tensorboard.backend.event_processing import event_accumulator #加载日志数据 ea=event_accumulator.EventAccumula 阅读全文
摘要：
import torch import time import os import argparse import shutil import sys def parse_args(): parser = argparse.ArgumentParser(description='Matrix mul 阅读全文
摘要：
测试程序 # -*- coding: utf-8 -*- def gpu_test(): """ python -c "import uutils; uutils.torch_uu.gpu_test()" """ from torch import Tensor import torch x = t 阅读全文
摘要：
如果使用fp16，把句子padding成8的倍数，测试性能会提升 pad_to_multiple_of_8 = training_args.fp16 and not data_args.pad_to_max_length pad_to_multiple_of=8 if pad_to_multiple 阅读全文
摘要：
transformer家的trainer适配了fp16、多卡...等，用起来很方便，但是之前我在实现模型的时候，发现在init里定义的线性层，在多卡上跑了以后，报错device不匹配，研究了许久，发现是trainer迁移的网络，不能被字典所包裹，最好直接定义为成员函数。例子如下： 在这里，self. 阅读全文
摘要：
我们使用bert的时候经常会用到huggingface中的tokenizers 进行文本分词，其中有很多函数，tokenizer.tokenize、tokenizer,convert_tokens_to_ids、tokenizer.encode、tokenizer、tokenizer.encode_ 阅读全文