随笔分类 - 实验
实验
摘要：PyTorch二分类时BCELoss，CrossEntropyLoss，Sigmoid等的选择和使用 这里就总结一下使用PyTorch做二分类时的几种情况： 总体上来讲，有三种实现形式： 最后分类层降至一维，使用sigmoid输出一个0-1之间的分数，使用torch.nn.BCELoss作为loss
阅读全文
摘要：import torch import time import os import argparse import shutil import sys def parse_args(): parser = argparse.ArgumentParser(description='Matrix mul
阅读全文
摘要：如果使用fp16，把句子padding成8的倍数，测试性能会提升 pad_to_multiple_of_8 = training_args.fp16 and not data_args.pad_to_max_length pad_to_multiple_of=8 if pad_to_multiple
阅读全文
摘要：transformer家的trainer适配了fp16、多卡...等，用起来很方便，但是之前我在实现模型的时候，发现在init里定义的线性层，在多卡上跑了以后，报错device不匹配，研究了许久，发现是trainer迁移的网络，不能被字典所包裹，最好直接定义为成员函数。例子如下： 在这里，self.
阅读全文
摘要：Wikipedia 中文数据处理流程
阅读全文
