摘要:
模型输入到底是什么样?1、整个小说作为一个序列,分段,窗口滑动一位一个很长的序列,加个随机初始点,舍弃初始点之前的,然后把剩下的长序列,根据步长平均切成多个子序列,把多个子序列起始下标乱序放在list 里。一个子序列可能是很多句话,然后再循环所有子序列,每次取batchsize 个子序列 X矩阵:行 阅读全文
摘要:
Autoformer他的特点是加入了自动相关,代替原来的自注意力机制,因为作者认为数据不能简单由数值来判断,而应该根据趋势来判断。他与Dlinear一样,都是用到了decomposition,这个拆分(快速傅里叶变换FFT)基于 STL(季节性,趋势性),数据=趋势性数据+季节性数据(周期)+余项 阅读全文