NTU ML2023Spring Part3.4 Self Attention

合集 - NTU ML2023Spring(13)

1.NTU ML2023Spring Part001-282.NTU ML2023Spring Part1（合集）01-273.NTU ML2023Spring Part2.1 基础知识02-034.NTU ML2023Spring Part2.2 新手村攻略02-035.NTU ML2023Spring Part2.3 训不起来怎么办02-036.NTU ML2023Spring Part2.4 卷积神经网络（CNN）02-037.NTU ML2023Spring Part2.5 self attention02-038.NTU ML2023Spring Part2.6 Transformer02-049.NTU ML2023Spring Part2.7 GAN02-1210.NTU ML2023Spring Part3.1 Regression01-2911.NTU ML2023Spring Part3.2 Classification01-2912.NTU ML2023Spring Part3.3 CNN01-29

13.NTU ML2023Spring Part3.4 Self Attention01-29

收起

License: CC BY-NC-SA 4.0

我真傻，真的。我是单知道 Google colab 有 GPU，不知道 Kaggle 认证完手机号也有 GPU，而且给的比 colab 多多了。终于不用在我的旧手机上炼丹了。

这一部分因为 ml2023 作业 sample code 的 链接 失效了，所以做的是 ml2022 的相应作业。

先是试着把 Classifier 里的 d_model 和 encoder_layer 中 nhead 调大，但训了一下发现没什么改进。

再抱着力大砖飞的想法给 pred_layer 里加了一层线性层（听说这里 2023 版本的激活函数变成 sigmoid 了，要想优化还要手动调成 ReLU）。结果反而更差了。

心态有点崩，于是上 B 站搜索了相关的视频讲解。发现把 Dataset 里的 segment_len 增大就能跑到 acc 0.76，差点就能上 strong baseline 了。

后面的 conformer 什么的先不写了（咕）。