01 2021 档案
摘要:Python __call__()方法
阅读全文
摘要:首先把数据集划分为训练集和测试集; 再把训练集细分为训练集和验证集,划分的方式常常是K折交叉验证法。 训练集(training set):用于训练模型,拟合的数据样本。 验证集(validate set):用于决定什么时候停止训练模型、使用多少层网络、使用什么正则化方式、网络参数量等超参。 测试集(
阅读全文
摘要:画好图之后,鼠标放在Visio页面,按住ctrl键,然后把鼠标移到白色背景边线处,拖动即可裁剪掉多余白色背景。 然后就是导出了,可参考visio导出PDF图,解决字母间距问题、线条变粗问题、PDF图去除白边问题 。
阅读全文
摘要:在线jupyter notebook - CoCalc
阅读全文
摘要:使用Jupyter Notebook编写技术文档
阅读全文
摘要:pytorch 优化器(optim)不同参数组,不同学习率设置
阅读全文
摘要:control + option + 回车键
阅读全文
摘要:信息 链接:http://mocap.cs.cmu.edu/ Wentao Zhu等人的2016 AAAI论文: We have categorized the CMU motion capture dataset into 45 classes for the purpose of skeleto
阅读全文
摘要:32位浮点型数的二进制存储 IEEE754 32位浮点数表示范围 详解二进制浮点数
阅读全文
摘要:本文摘自:学习率和batchsize如何影响模型的性能? 初始的学习率一般有一个最优值,过大则导致模型不收敛,过小则导致模型收敛特别慢或者无法学习,下图展示了不同大小的学习率下模型收敛情况的可能性,图来自于cs231n。
阅读全文
摘要:在用pytorch搭建和训练神经网络时,有时为了查看非叶子张量的梯度,比如网络权重张量的梯度,会用到retain_grad()函数。但是几次实验下来,发现用或不用retain_grad()函数,最终神经网络的准确率会有一点点差异。用retain_grad()函数的训练结果会差一些。目前还没有去探究这
阅读全文
摘要:深度学习中的batch的大小对学习效果有何影响? 更大的batch size能更好的代表训练样本总体,所指示的梯度方向能更接近所有训练数据的极值方向。
阅读全文
摘要:【Pytorch】对比clone、detach以及copy_等张量复制操作
阅读全文
摘要:KL散度理解以及使用pytorch计算KL散度 计算例子:
阅读全文
摘要:参考:相对熵(KL散度)
阅读全文
摘要:在pytorch中计算KLDiv loss时,注意reduction='batchmean',不然loss不仅会在batch维度上取平均,还会在概率分布的维度上取平均。 参考:KL散度-相对熵
阅读全文