06 2023 档案
摘要:摘要:风乌从多模态和多任务视角解决中期预报问题 几个不太清楚的关键词:“跨模态融合” “非确定损失” “区域自适应方式” “repley buffer” 数据:ERA5 intro:贡献1,每一个变量视为一个独立的模态并用跨模态方式来建模变量之间相互作用;贡献2,NWP中每个变量的预测被看作单独的任
阅读全文
摘要:摘要:ERA5数据训练。创新:1. 三维transformer 2. 层级结构的时间聚合算法,能够缓解误差累积 硬件:华为云 192个英伟达 Tesla-V100,100epoch训15天 方法:预训练任务就是预测 和Climax一样,没有采用迭代预测,而是指定Δt,直接进行预测。但是前者使用的是时
阅读全文
摘要:摘要:当前大多数模型使用整理好的同质的数据,也就是说针对特定数据特定下游任务的。ClimaX使用跨越不同变量、空间位置、物理基础的异构数据,也就是说是一个经过自监督预训练(CMIP6)的大模型。 intro: 第一个问题:训练大模型要使用非常大的数据集进行与训练,NLP和CV使用了互联网规模的数据进
阅读全文
摘要:2023-6-17 清华团队的工作:全球观测站的统一预报《(NMI)Interpretable weather forecasting for worldwide stations with a unified deep model》 知乎:https://zhuanlan.zhihu.com/p/
阅读全文
摘要:摘要:earthformer是基于一个时空注意力块,称为Cuboid Attention。将数据分解为多个立方体块(cuboid),然后在方块上计算自注意力,有一个全局向量和所有方块连接和汇总。 硬件:这个工作是在一块V100上完成的,开销很小。因为实验是在MNIST上做的,当然也做了降雨和ENSO
阅读全文
摘要:预测对象:三维海洋上层温度异常、风应力异常 预测期:18个月 特点:由于考虑了风,所以一定程度上认为耦合了海气动力学 变量:该模型考虑了三个变量,径向/纬向风应力,以及上层海洋温度(共七层,5,20,40,60,90,120,150) 参数设置:全部变量叠加到一起是九层,一起输入模型。每一层是以ch
阅读全文