摘要：
学生模型以较少的参数学习老师的分布，在老师的知道下获得性能提升，可以作为模型压缩的一种思路，示例代码如下： """ Function：knowledge distillation """ import math import torch import torch.nn as nn import to 阅读全文
摘要：
储备： \r 表示将光标移动到当前行的首位 print（，end=‘’）：打印时不换行 代码： print('\rTrain epoch: {} {}/{} [{}]{}%'.format(epoch, trained_samples, len(train_loader.dataset), '-'* 阅读全文
摘要：
知乎大牛：https://zhuanlan.zhihu.com/p/53927068 背景 在PyTroch框架中，如果要自定义一个Net(网络，或者model，在本文中，model和Net拥有同样的意思)，通常需要继承自nn.Module然后实现自己的layer。比如，在下面的示例中，gemfie 阅读全文
摘要：
softmax(x) 函数：输入一个实数向量并返回一个概率分布 log_softmax(x) 函数：对经过softmax的函数经过一次对数运算 NLLLoss 损失：负对数似然损失，negative log likelihood loss，若𝑥𝑖=[𝑞1,𝑞2,...,𝑞𝑁]xi=[q1 阅读全文
摘要：
API 输入：[ batch_size, channels, height_1, width_1 ] Conv2d输入参数：[ channels, output, height_2, width_2 ] 输出：[ batch_size,output, height_3, width_3 ] 实例： 阅读全文
摘要：
比尔. 威廉姆的《证券混沌操作法》 一致性获利法 ? 把趋势类指标macd的参数改称，5、34、5（原参数为12、26、9）。当波浪呈现比较明显的4浪的时候，当macd的diff值下穿（或上穿）零轴的时候，代表4浪完成的条件形成（即转市）。 调整macd的参数5、34、5，是为了判断第四浪调整结束的 阅读全文
摘要：
直接上代码 from collections import Counter import numpy as np text = 'I love china. the dog on the ground' text = text.split() # print(text) vocab = dict(C 阅读全文
摘要：
BERT强大的特征抽取能力在各方面的应用如火如荼的展开，今日准备要对BERT输出的特征进行组合，以期能具有更好地变现，现在对model对象做详细的分析。 直观上，我们能够利用bert的信息有：1）pool out [CLS]；2）encoder layer；3）hidden state first 阅读全文
摘要：
pytorch几十行代码搞清楚模型的构建和训练 import torch import torch.nn as nn N, D_in, H, D_out = 64, 1000, 100, 10 # data x = torch.randn(N, D_in) y = torch.randn(N, D_ 阅读全文
摘要：
对于BERT后时代，不得不说强有力的预训练模型是刷榜、出色完成任务的基础，现在列举几个对此很有帮助的资源，同大家一起进步！！！ 一：互联网新闻情感分析复赛top8(8/2745)解决方案及总结； 地址：https://zhuanlan.zhihu.com/p/101554661 大佬的这篇知乎博客总 阅读全文