摘要：
https://blog.csdn.net/weixin_44790306/article/details/124064177 摘要本周一是对Informer论文的阅读，其关注的问题依然是长时间序列预测问题。也是从self-attention 机制的缺陷出发，做了一些优化于改进工作，像ProbSpa 阅读全文
摘要：
Informer: 一个基于Transformer的效率优化的长时间序列预测模型 Informer创新点介绍 ProbSparse self-attention self-attention蒸馏机制 一步Decoder 实验结果 总结 Informer: Beyond Efficient Trans 阅读全文
摘要：
参数量方法一：pytorch自带方法，计算模型参数总量 参数量方法二： summary的使用：来自于torchinfo第三方库 参数量方法三： summary的使用：来自于torchsummary第三方库 计算量方法一：thop的使用，输出计算量FLOPs和参数量parameter我们通常要通过计算 阅读全文
摘要：
https://www.zhihu.com/question/547837668 https://www.zhihu.com/question/24021704 https://www.zhihu.com/question/24021704/answer/2245867156 傅立叶原理表明：任何连 阅读全文
摘要：
https://blog.csdn.net/weixin_49967436/article/details/121736079 3.1.Multi-Head Attention(图2-红色圆圈部分，图3-红色长方体) 3.2.Self-sttention Distilling(图2-蓝色圆圈部分，图 阅读全文
该文被密码保护。 阅读全文
摘要：
pytorch permute permute(dims)将tensor的维度换位。参数：参数是一系列的整数，代表原来张量的维度。比如三维就有0，1，2这些dimension。例： import torch import numpy as np a=np.array([[[1,2,3],[4,5,6 阅读全文
摘要：
https://www.bilibili.com/video/BV1m14y1a74s/?spm_id_from=333.337.search-card.all.click&vd_source=6292df769fba3b00eb2ff1859b99d79e 阅读全文
摘要：
pytorch transpose >>> x = torch.randn(2, 3)>>> xtensor([[ 1.0028, -0.9893, 0.5809], [-0.1669, 0.7299, 0.4942]])>>> torch.transpose(x, 0, 1)tensor([[ 1 阅读全文
摘要：
全文 https://ieeexplore.ieee.org/document/7526959 Soft Exponential Activation Function A Soft Exponential Activation Function is a parametric neuron act 阅读全文