合集-NTU ML2023Spring
摘要：License: CC BY-NC-SA 4.0 本系列基本上为 NTU ML2023Spring 的学习笔记。 从我的学习经历来看分三个 part： ml2023 视频 感觉这部分比较像通识课，跳过也没多大问题。 ml2021 视频 ，这部分是作业的前置（当然也可以跳过前置直接进作业） ml202
阅读全文
摘要：License: CC BY-NC-SA 4.0 闲话 本文为 Part 1 的合集。或者算是自己的备忘录？ 由于视频源在 youtube 上，为避免网络不稳定导致观看体验下降，我用 yt-dlp 提前下载视频到本地看。 yt-dlp --output "%(playlist)s/%(playlis
阅读全文
摘要：License: CC BY-NC-SA 4.0 机器学习的任务是什么？考虑几个常见的任务：输入一段语音，输出语音中的文字；输入一张图片，输出图片中的内容；输入棋局局面，输出下一步怎么走。总结一下就是找到一个函数。 几个常见的任务： Regression 输出一个标量。 Classification
阅读全文
摘要：License: CC BY-NC-SA 4.0 loss (test) large loss (test) small loss (train) large 可能是 optimization 不够或模型不够复杂 运气好 loss (train) small overfitting 或 mismat
阅读全文
摘要：License: CC BY-NC-SA 4.0 为什么我用 gradient descent 训了半天 loss 还是不降？ local minima & saddle point 有可能是你卡在 local minima（极小值）了，但大部分情况下这只是个 saddle point（某一维是极小
阅读全文
摘要：License: CC BY-NC-SA 4.0 有时候，对特定任务调整神经网络的架构会使它做得更好。例如，CNN 用于图像识别。 一张彩色图片是 3 个矩阵（RGB），当然可以把它拉直成向量然后直接硬上全连接层，但是这样会带来非常多的参数，增加了 overfitting 的风险。 下面我们要基于一
阅读全文
摘要：License: CC BY-NC-SA 4.0 之前都是输入一个固定长度的东西，但是如果每次输入的东西长度不一样呢？ 例如输入一个句子。当然可以用 one-hot encoding 来编码单词，但这样就看不到某些单词之间的相关性。一个更好的方法是 word embedding。 对于音频输入的情况
阅读全文
摘要：License: CC BY-NC-SA 4.0 seq2seq：输出长度由模型自行决定。例如语音识别，机器翻译。 即使不是 seq2seq 的问题，也可以用 seq2seq model 大力出奇迹。例如文法剖析，将「deep learning is very powerful」拆成「(S (NP
阅读全文
摘要：License: CC BY-NC-SA 4.0 对于图像生成之类的任务，它要「生成」一些东西，而它的标准答案不是唯一的，这时怎么梯度下降呢？ 只要在输入里加一个随机变量 \(Z\)，服从一个较为简单的分布就行了。由于输入的 \(Z\) 不同，整个网络的输出也变成了一个（和 \(Z\) 的分布有关的
阅读全文
摘要：这部分作业没做。
阅读全文
摘要：License: CC BY-NC-SA 4.0 开始实操。不得不说 Google Colab 真好用（白嫖 GPU），除了网络问题很难受。 如果直接按照给的代码跑会得到 0.5 的高分，于是我在 BasicBlock 里加了一层 nn.BatchNorm1d(input_dim)。 虽然它说 ap
阅读全文
摘要：License: CC BY-NC-SA 4.0 卷，就硬卷.jpg Google Colab 的免费 GPU 达到限额了，Kaggle 又没有 GPU 可用[1]，只好用旧手机（刷上 postmarketOS）炼丹。Money is all you need，氪不了但是可以挂机。 由于炼丹炉（旧手
阅读全文
摘要：License: CC BY-NC-SA 4.0 我真傻，真的。我是单知道 Google colab 有 GPU，不知道 Kaggle 认证完手机号也有 GPU，而且给的比 colab 多多了。终于不用在我的旧手机上炼丹了。 这一部分因为 ml2023 作业 sample code 的 链接 失效了
阅读全文
