NTU ML2023Spring Part3.2 Classification

合集 - NTU ML2023Spring(13)

1.NTU ML2023Spring Part001-282.NTU ML2023Spring Part1（合集）01-273.NTU ML2023Spring Part2.1 基础知识02-034.NTU ML2023Spring Part2.2 新手村攻略02-035.NTU ML2023Spring Part2.3 训不起来怎么办02-036.NTU ML2023Spring Part2.4 卷积神经网络（CNN）02-037.NTU ML2023Spring Part2.5 self attention02-038.NTU ML2023Spring Part2.6 Transformer02-049.NTU ML2023Spring Part2.7 GAN02-1210.NTU ML2023Spring Part3.1 Regression01-29

11.NTU ML2023Spring Part3.2 Classification01-29

12.NTU ML2023Spring Part3.3 CNN01-2913.NTU ML2023Spring Part3.4 Self Attention01-29

收起

License: CC BY-NC-SA 4.0

开始实操。不得不说 Google Colab 真好用（白嫖 GPU），除了网络问题很难受。

如果直接按照给的代码跑会得到 0.5 的高分，于是我在 BasicBlock 里加了一层 nn.BatchNorm1d(input_dim)。

虽然它说 apply batch normalization and dropout for strong baseline.，但是如果你真的同时加了 BatchNorm 和 Dropout 反而会训不起来。把 Dropout 删了就可以得到 0.6 的高分。

接下来就是化身为调参侠开始一通玄学调。发现把 hidden layers 增多并把 hidden dim 增大到 128 会增大 acc.

Colab 时不时断连有点难受，魔法不稳定导致的。

hidden dim 增大到 256 时出现了过拟合，train acc 为 0.697，val acc 为 0.636. 这时候重新加入 dropout 就会降低过拟合。

发现还是 hyper parameter 调起来好用，concat_nframes 从 7 调到 13 之后 accuracy 显著上升。然后又调到 21.