NTU ML2023Spring Part0

合集 - NTU ML2023Spring(13)

1.NTU ML2023Spring Part001-28

2.NTU ML2023Spring Part1（合集）01-273.NTU ML2023Spring Part2.1 基础知识02-034.NTU ML2023Spring Part2.2 新手村攻略02-035.NTU ML2023Spring Part2.3 训不起来怎么办02-036.NTU ML2023Spring Part2.4 卷积神经网络（CNN）02-037.NTU ML2023Spring Part2.5 self attention02-038.NTU ML2023Spring Part2.6 Transformer02-049.NTU ML2023Spring Part2.7 GAN02-1210.NTU ML2023Spring Part3.1 Regression01-2911.NTU ML2023Spring Part3.2 Classification01-2912.NTU ML2023Spring Part3.3 CNN01-2913.NTU ML2023Spring Part3.4 Self Attention01-29

收起

License: CC BY-NC-SA 4.0

本系列基本上为 NTU ML2023Spring 的学习笔记。

从我的学习经历来看分三个 part：

1. ml2023 视频 感觉这部分比较像通识课，跳过也没多大问题。

2. ml2021 视频 ，这部分是作业的前置（当然也可以跳过前置直接进作业）

3. ml2023 作业（见课程网址的 homework 版块）

在 Part 0（本文）中，我会记录一些新手入门的常见问题与我的杂感，跳过这篇文章的剩余部分 不影响 整体阅读。

为什么要学 ML？

一方面是人尽皆知的原因：AI 在这几年很流行。

但即使 AI 没有流行起来，我也许也会在将来的某个时间开始尝试（也可能停留在想法然后就咕了）。在 ChatGPT 点燃 AI 热潮之前，我看过一部小说（书名的 sha256 前十位是 46ba6ebc49），讲 AI 觉醒并与人类开战，这本书写了一些比较深刻的问题，也部分改变了我对 AI 的看法。与此同时，“做一个 AI 出来”的想法也在我脑海里浮现。当然，当时的我既没有能力也没有毅力真的去学习，于是也就只停留在一个“因为很酷所以想去模仿”的中二想法。不管中二与否，几年后它真的变成了正在进行的现实。于是我就选了 ML 作为入门的课程开始学。这门课是从 CS 自学指南 上找到的，也推荐给像我一样的新手。

其实一开始学的是李沐的《动手学深度学习》，但感觉 NTU 的这个更适合入门。

李宏毅老师是国立台湾大学的教授，其风趣幽默的授课风格深受大家喜爱，并且尤其喜欢在 PPT 中插入宝可梦等动漫元素，是个非常可爱的老师。

这门课挂着机器学习的牌子，但其课程内容之广实在令人咋舌，其作业一共包含 15 个 lab，分别是 Regression、Classification、CNN、Self-Attention、Transformer、GAN、BERT、Anomaly Detection、Explainable AI、Attack、Adaptation、 RL、Compression、Life-Long Learning 以及 Meta Learning。可谓是包罗万象，能让学生对于深度学习的绝大多数领域都有一定了解，从而可以进一步选择想要深入的方向进行学习。

——CS 自学指南

怎么学？

以下仅为个人经验。

1. （选做）看完 ml2023 的 content 部分。

   对应本系列 Part 1.

2. 看 ml2023 homework 的 Prerequisite 部分（也可以看一课做一课的作业）。

   对应本系列 Part 2.

3. 做 ml2023 的作业。

   对应本系列 Part 3.

有哪些坑/注意事项？

Part 1 & 2

视频在 Youtube 上，如果没有办法访问可以去 B 站上找对应的搬运视频。

Part 3

有些作业里提供的示例代码会过期，这时可以去 ml2022 找对应的材料。

Colab 有免费的 GPU，但是远少于 Kaggle（大概每 2 天有 2~3 小时）。有长时间运行的任务还是建议 Kaggle 或本地跑。

睡前开始炼丹有奇效，但建议先让它运行一会再睡避免它跑到一半报错了。如果你用物理机跑，建议检查电源供应是否正常。（我知道很少有人会像我一样用刷上 postmarketOS 的旧手机当炼丹炉用，但还是发出来警示后人）

如果你第一次接触 Kaggle

Kaggle 本身可以正常访问，但注册时用到的谷歌验证码不能正常访问。

Kaggle 有免费的 GPU，一周 30 小时，但是要验证手机号（同样需要谷歌验证码），+86 的手机号即可。

进入“作业”部分里提供的 Kaggle 比赛链接（只有点了那个链接才能加入比赛），点 “Code” 即可看到大佬们的代码。

点进某个 notebook，在上方工具栏 Settings-Accelerator 里选择任一 GPU 选项。注意 GPU 与 TPU 的每周免费时间是单独计算的。

如果你想长时间运行某个 notebook 并提交成果，点右上角的 Save Version，在 version type 里选择“Save & Run All (Commit)”，然后你就可以安心关掉网页做别的事了。左下角有“View Active Events”，你可以在此查看正在运行的 notebook。运行完之后进入 log 界面，点 output 选项卡，可以直接选择输出文件并提交到比赛。

没有输入文件？进入 notebook，点右下角展开侧边栏，Input 里有 Add Input，在此选择比赛并添加即可自动将输入文件挂载到你 notebook 的 /kaggle/input 目录下。

报错了，怎么办？/这段代码是什么意思？/为什么要这么做？

以下按优先级递减排序。

1. 问 AI。
2. STFW。
3. 上论坛/群聊求助。