摘要：
该模型是学习从噪音中如何去除噪音生成一个他已经学会的图片，所以一开始输入模型的是噪音，但是经过一次处理效果不会非常好，所以要循环迭代很多次，得到最终生成结果。 模型预测的实际上是噪音，也就是说要将输入图片减去模型预测的噪音，得到生成结果。 这里没有讲的太细，我的理解是神经网络需要的输入是正态分布的噪 阅读全文
摘要：
第一篇《A self-attention–based neural network for threedimensional multivariate modeling and its skillful ENSO predictions 》 发表在Sci Adv. 张荣华 2023-3-8 起名3D 阅读全文
摘要：
气候模型预测温室气体加强了日降水变化和极端事件，但由于区域降水波动太大，无法直接使用观测数据验证这种预测。 作者提出用CNN做检测，首先给模型输入全球降水异常分布图，然后输出一个年全球平均气温，输出端的真值是模拟数据。 模型训练好以后给模型输入近年的卫星观测、模式模拟、再分析等数据(用好几套数据是考 阅读全文
摘要：
由于AdamW是Adam+L2正则化的改进，所以这里再详细总结一下正则化方法 正则化：所有防止过拟合，提升模型泛化能力的方法（包括常见的L1,L2,dropout等，可能还有许多更为广义上的正则化措施） L1,L2正则化：利用L1,L2番薯规范网络参数w的方法，注意这里只说了w没有说b（y=wx+b 阅读全文
摘要：
海洋大模型 海洋数据用HYCOM，还有一些ERA5的大气数据用于边界条件，地形数据为ETOPO backbone model用于预测T S U V SSH，微调后用于下游的降尺度、波解码、生物化学耦合 适用于缺测的稀疏数据 预测给的是30天的结果统计和对比 在backbone model的预测结果统 阅读全文
摘要：
并行这个概念一方面是是加快模型训练，一方面是解决显存不够的问题的并行策略 数据并行(最常用的)，即每张卡上都放一个完整的模型，主要用于单机多卡的数据并行。 模型并行，将模型的不同部分进行手动的分割，然后分别放在不同的卡上。注意，模型要放在卡上不光是需要保存模型参数，因为模型训练过程中不仅涉及数据一层 阅读全文
摘要：
卷积 右下角是卷积公式 形象的讲，f(x)表示我的进食量，即左上角这张图，每一个时刻都在吃进不同量的食物，g(t)表示某食物经过t小时后，在肚子里还剩下多少（比例）。那么卷积实际上就是求每一个时刻都在进食，且肚子里的食物在不断消化的情况下，任意时刻时，肚子里还剩下的食物。f(x)g(t-x)相乘表示 阅读全文
摘要：
https://mp.weixin.qq.com/s/6mr_2aUK2eU3RYCyWpa7lg 这篇恐怕要按照SwinRNN SwinRDM FUXI这个顺序来梳理 摘要：过去的AI方法在ECWMF的HRES对比中，10天就比较好了，但是15天还是不行。之前研究发现长期预测中的误差累积很严重，这 阅读全文
摘要：
摘要：风乌从多模态和多任务视角解决中期预报问题 几个不太清楚的关键词：“跨模态融合” “非确定损失” “区域自适应方式” “repley buffer” 数据：ERA5 intro：贡献1，每一个变量视为一个独立的模态并用跨模态方式来建模变量之间相互作用；贡献2，NWP中每个变量的预测被看作单独的任 阅读全文
摘要：
摘要：ERA5数据训练。创新：1. 三维transformer 2. 层级结构的时间聚合算法，能够缓解误差累积 硬件：华为云 192个英伟达 Tesla-V100，100epoch训15天 方法：预训练任务就是预测 和Climax一样，没有采用迭代预测，而是指定Δt，直接进行预测。但是前者使用的是时 阅读全文