随笔分类 - Pytorch
摘要：1.继承Dataset构建的类，按batch的最长句子数读取（而不是按训练集的最长，可以减少一丢丢显存） 以BiLSTM+CRF做分词所需的数据格式为例，重写collate_fn方法： 1 class SegDataset(Dataset): 2 def __init__(self, data_pa
阅读全文
摘要：https://mp.weixin.qq.com/s?__biz=MzUyNzcyNzE0Mg==&mid=2247501404&idx=1&sn=b551b55065f621571e247ecbaae31c0b&chksm=fa79a915cd0e2003798505108a17860c4137f
阅读全文
摘要：L1正则化可以使权重变稀疏，应用场景：对one-hot词袋模型中的词表进行裁剪时，根据权重weight筛选，此时需要权重越稀疏越好； L1_Weight为超参数，可设定为1e-4 1 def train(model, iterator, optimizer, criteon): 2 avg_acc,
阅读全文
摘要：具体错误如下，同时伴有collecting package metadata:加载时间巨长 解决方案： 输入conda clean --all清除之前未完成的conda安装的包就可以正常创建环境了。 感谢CSDN的这位伙伴https://blog.csdn.net/weixin_44424340/a
阅读全文
摘要：1.return torch.embedding(weight, input, padding_idx, scale_grad_by_freq, sparse)RuntimeError: Expected tensor for argument #1 'indices' to have scalar
阅读全文
摘要：使用torchtext的一般步骤https://www.cnblogs.com/cxq1126/p/13466998.html#_label9 1.使用torchtext默认支持的预训练词向量 默认情况下，会自动下载对应的预训练词向量文件到当前文件夹下的.vector_cache目录下，.vecto
阅读全文
摘要：用google-research官方的bert源码（tensorflow版本）对新的法律语料进行微调，迭代次数为100000次，每隔1000次保存一下模型，得到的结果如下： 将最后三个文件取出，改名为bert_model.ckpt.data-00000-of-00001、bert_model.ckp
阅读全文
摘要：1.中文语料常常遇到编码问题，将任意字符集文件转为utf-8编码 1 import chardet 2 import codecs 3 from django.utils.encoding import smart_text 4 5 def check_file_charset(file): #查看
阅读全文
摘要：数据集的格式如下： datasets train文件夹（WA和WKY文件夹，里面分别存放了200张图片） test文件夹（WA和WKY文件夹，里面分别存放了100张图片） 每一张图片都有自己的文件名，train中WA的图片标签为0，WKY的图片标签为1。 1.构建Dataset 1 import o
阅读全文
摘要：1.confusion_matrix 理论部分见https://www.cnblogs.com/cxq1126/p/12990784.html#_label2 1 from sklearn.metrics import confusion_matrix 2 3 #if y_true.shape=y_
阅读全文
摘要：我自己改进的模型为model（model = ResNet(Bottleneck, [3, 4, 6, 3], **kwargs)），原模型为resnet50。 1.查看模型参数 现模型： 1 model_dict = model.state_dict() 2 for k,v in model_di
阅读全文
摘要：详细理论部分可参考https://www.cnblogs.com/wanghui-garcia/p/10862733.html BCELoss()和BCEWithLogitsLoss()的输出logits和目标labels（必须是one_hot形式）的形状相同。 CrossEntropyLoss()
阅读全文
摘要：CRF：条件随机场，一种机器学习技术。给定一组输入随机变量条件下，另一组输出随机变量的条件概率分布模型。 以一组词性标注为例，给定输入X={我，喜欢，学习}，那么输出为Y={名词，动词，名词}的概率应该为最大。输入序列X又称为观测序列，输出序列Y又称为状态序列。这个状态序列构成马尔可夫随机场，所以根
阅读全文
摘要：导包： 1 import re 2 import math 3 import torch 4 import numpy as np 5 from random import * 6 import torch.nn as nn 7 import torch.optim as optim 8 impor
阅读全文
摘要：导包： 1 import torch 2 import torch.nn as nn 3 import torch.nn.functional as F 4 import torch.optim as optim 5 from torchvision import datasets, transfo
阅读全文
摘要：1.查看模型每层输出详情 1 from torchsummary import summary 2 summary(your_model, input_size=(channels, H, W)) input_size是根据你自己的网络模型的输入尺寸进行设置。 2.梯度裁剪 1 import tor
阅读全文
摘要：由于语料短，训练时间也短，模型性能不好，以下演示过程。 语料链接：https://pan.baidu.com/s/1wpP4t_GSyPAD6HTsIoGPZg 提取码：jqq8 数据格式如图（先英文，再空格，再繁体中文）： 以下代码运行在Google Colab上。 导包： 1 import os
阅读全文
摘要：任务：使用8个高斯混合模型生成一系列数据，通过GAN学习它的分布，比较学习的分布和真实的分布是否一样。 GAN文字版算法： GAN公式版算法： 在命令行执行如下语句（详细Visdom的使用见https://www.cnblogs.com/cxq1126/p/13285150.html） python
阅读全文
摘要：渣渣本跑不动，以下代码运行在Google Colab上。 语料链接：https://pan.baidu.com/s/1YxGGYmeByuAlRdAVov_ZLg 提取码：tzao neg.txt和pos.txt各5000条酒店评论，每条评论一行。 安装transformers库 !pip inst
阅读全文
摘要：transformers（以前称为pytorch-transformers和pytorch-pretrained-bert）提供用于自然语言理解（NLU）和自然语言生成（NLG）的BERT家族通用结构（BERT，GPT-2，RoBERTa，XLM，DistilBert，XLNet等），包含超过32种
阅读全文
