随笔分类 -  Pytorch

摘要:torch.nn.Module.apply(fn) # 递归的调用weights_init函数,遍历nn.Module的submodule作为参数 # 常用来对模型的参数进行初始化 # fn是对参数进行初始化的函数的句柄,fn以nn.Module或者自己定义的nn.Module的子类作为参数 # f 阅读全文
posted @ 2021-08-20 16:45 今夜无风 阅读(775) 评论(0) 推荐(0) 编辑
摘要:如果模型中有BN层(Batch Normalization)和Dropout,需要在训练时添加model.train(),在测试时添加model.eval()。其中model.train()是保证BN层用每一批数据的均值和方差,而model.eval()是保证BN用全部训练数据的均值和方差;而对于D 阅读全文
posted @ 2021-08-20 16:06 今夜无风 阅读(1582) 评论(0) 推荐(0) 编辑
摘要:GLUE 是一个用于评估通用 NLP 模型的基准,其排行榜可以在一定程度上反映 NLP 模型性能的高低。然而,现有的 GLUE 基准针对的是英文任务,无法评价 NLP 模型处理中文的能力。为了填补这一空白,国内关注 NLP 的热心人士发布了一个中文语言理解测评基准ChineseGLUE。Chines 阅读全文
posted @ 2020-03-04 19:51 今夜无风 阅读(1511) 评论(0) 推荐(0) 编辑
摘要:当你要处理一个任务,比如说分类,手上就会有一批训练集和一批测试集,测试集使用来最终的评测。为了能更好的训练一个model并进行有效评估,首先要做的是将手头上的训练集划分出一个验证集,用以验证模型 之前的k折交叉验证没有考虑到标签分布的问题,或者干脆就random一批验证集,其实这样最终的模型会有隐患 阅读全文
posted @ 2020-03-04 14:38 今夜无风 阅读(3110) 评论(0) 推荐(0) 编辑
摘要:批量下载requirements.txt中的第三方库 命令: pip wheel -w target_file_path -r requirements.txt 在windows环境中下载linux需要的包,通过 pip download 命令: pip download -d . torch==1 阅读全文
posted @ 2020-03-04 10:42 今夜无风 阅读(693) 评论(0) 推荐(0) 编辑
摘要:import numpy as np from matplotlib import pyplot as plt from torchvision import datasets, transforms def softmax_t(x, t): x_exp = np.exp(x /t) return 阅读全文
posted @ 2020-03-02 12:21 今夜无风 阅读(433) 评论(0) 推荐(0) 编辑
摘要:学生模型以较少的参数学习老师的分布,在老师的知道下获得性能提升,可以作为模型压缩的一种思路,示例代码如下: """ Function:knowledge distillation """ import math import torch import torch.nn as nn import to 阅读全文
posted @ 2020-02-29 17:23 今夜无风 阅读(1264) 评论(6) 推荐(1) 编辑
摘要:储备: \r 表示将光标移动到当前行的首位 print(,end=‘’):打印时不换行 代码: print('\rTrain epoch: {} {}/{} [{}]{}%'.format(epoch, trained_samples, len(train_loader.dataset), '-'* 阅读全文
posted @ 2020-02-29 15:16 今夜无风 阅读(240) 评论(0) 推荐(0) 编辑
摘要:知乎大牛:https://zhuanlan.zhihu.com/p/53927068 背景 在PyTroch框架中,如果要自定义一个Net(网络,或者model,在本文中,model和Net拥有同样的意思),通常需要继承自nn.Module然后实现自己的layer。比如,在下面的示例中,gemfie 阅读全文
posted @ 2020-02-29 13:21 今夜无风 阅读(2541) 评论(0) 推荐(0) 编辑
摘要:API 输入:[ batch_size, channels, height_1, width_1 ] Conv2d输入参数:[ channels, output, height_2, width_2 ] 输出:[ batch_size,output, height_3, width_3 ] 实例: 阅读全文
posted @ 2020-02-28 13:46 今夜无风 阅读(677) 评论(0) 推荐(0) 编辑
摘要:pytorch几十行代码搞清楚模型的构建和训练 import torch import torch.nn as nn N, D_in, H, D_out = 64, 1000, 100, 10 # data x = torch.randn(N, D_in) y = torch.randn(N, D_ 阅读全文
posted @ 2020-02-23 20:45 今夜无风 阅读(166) 评论(0) 推荐(0) 编辑
摘要:对于BERT后时代,不得不说强有力的预训练模型是刷榜、出色完成任务的基础,现在列举几个对此很有帮助的资源,同大家一起进步!!! 一:互联网新闻情感分析复赛top8(8/2745)解决方案及总结; 地址:https://zhuanlan.zhihu.com/p/101554661 大佬的这篇知乎博客总 阅读全文
posted @ 2020-02-21 16:55 今夜无风 阅读(1098) 评论(0) 推荐(0) 编辑
摘要:以下代码可以让你更加熟悉seq2seq模型机制 参考:https://blog.csdn.net/weixin_43632501/article/details/98525673 阅读全文
posted @ 2019-11-07 11:34 今夜无风 阅读(2204) 评论(0) 推荐(0) 编辑
摘要:在无GPU的情况下,打算安装pytorch跑几个demo练练手,但是pycharm发现总是失败,无法安装成功。错误显示如下: 无奈之下,只能够使用官方推荐的命令pip3安装,命令如下: pip3 install torch==1.2.0+cpu torchvision==0.4.0+cpu -f h 阅读全文
posted @ 2019-09-30 09:11 今夜无风 阅读(9825) 评论(0) 推荐(0) 编辑
摘要:PyText是基于NLP深度学习技术、通过Pytorch构建的建模框架。PyText解决了既要实现快速实验又要部署大规模服务模型的经常相互冲突。并且,Facebook已经采用了使用PyText快速迭代新的建模思路,然后大规模无缝衔接地发布它们。 相关资料 主页: https://facebook.a 阅读全文
posted @ 2019-04-24 16:32 今夜无风 阅读(488) 评论(0) 推荐(0) 编辑
摘要:直接上图吧 写网络就像搭积木 阅读全文
posted @ 2019-04-10 19:53 今夜无风 阅读(1873) 评论(0) 推荐(0) 编辑
摘要:用pytorch搭建一个DNN网络,主要目的是熟悉pytorch的使用 阅读全文
posted @ 2019-04-09 18:10 今夜无风 阅读(754) 评论(0) 推荐(0) 编辑
摘要:nn.SequentialA sequential container. Modules will be added to it in the order they are passed in the constructor. Alternatively, an ordered dict of mo 阅读全文
posted @ 2019-04-09 11:30 今夜无风 阅读(2818) 评论(0) 推荐(0) 编辑
摘要:自然语言中的常用的构建词向量方法,将id化后的语料库,映射到低维稠密的向量空间中,pytorch 中的使用如下: 输出: 需要注意的几点: 1)id化后的数据需要查表构建词向量时,idx必须是Long型的tensor 2)查表操作embeds即可得出嵌入向量 阅读全文
posted @ 2019-04-01 09:22 今夜无风 阅读(6030) 评论(0) 推荐(0) 编辑
摘要:数据加载器,结合了数据集和取样器,并且可以提供多个线程处理数据集。在训练模型时使用到此函数,用来把训练数据分成多个小组,此函数每次抛出一组数据。直至把所有的数据都抛出。就是做一个数据的初始化。 生成迭代数据非常方便,请看如下示例: 结果: 我们来看一下变量类型: 阅读全文
posted @ 2019-03-29 19:07 今夜无风 阅读(88712) 评论(1) 推荐(3) 编辑

点击右上角即可分享
微信分享提示