摘要：
众所周知，对于单调的函数 \(f(x)\)（以增函数为例），有 \[\int_{a-1}^{b} f(x) dx \le \sum \limits_{i=a}^{b} f(i) \le \int_{a}^{b+1} f(x)dx \]然而这样就够了吗？ 求证： \(\sum \limits_{i=1 阅读全文
posted @ 2025-03-15 22:36
383494
阅读(122)
评论(0)
推荐(0)
摘要：
License: CC BY-NC-SA 4.0 对于图像生成之类的任务，它要「生成」一些东西，而它的标准答案不是唯一的，这时怎么梯度下降呢？ 只要在输入里加一个随机变量 \(Z\)，服从一个较为简单的分布就行了。由于输入的 \(Z\) 不同，整个网络的输出也变成了一个（和 \(Z\) 的分布有关的 阅读全文
posted @ 2025-02-12 18:47
383494
阅读(43)
评论(0)
推荐(0)
摘要：
License: CC BY-NC-SA 4.0 seq2seq：输出长度由模型自行决定。例如语音识别，机器翻译。 即使不是 seq2seq 的问题，也可以用 seq2seq model 大力出奇迹。例如文法剖析，将「deep learning is very powerful」拆成「(S (NP 阅读全文
posted @ 2025-02-04 09:36
383494
阅读(37)
评论(0)
推荐(0)
摘要：
License: CC BY-NC-SA 4.0 之前都是输入一个固定长度的东西，但是如果每次输入的东西长度不一样呢？ 例如输入一个句子。当然可以用 one-hot encoding 来编码单词，但这样就看不到某些单词之间的相关性。一个更好的方法是 word embedding。 对于音频输入的情况 阅读全文
posted @ 2025-02-03 11:44
383494
阅读(35)
评论(0)
推荐(0)
摘要：
License: CC BY-NC-SA 4.0 有时候，对特定任务调整神经网络的架构会使它做得更好。例如，CNN 用于图像识别。 一张彩色图片是 3 个矩阵（RGB），当然可以把它拉直成向量然后直接硬上全连接层，但是这样会带来非常多的参数，增加了 overfitting 的风险。 下面我们要基于一 阅读全文
posted @ 2025-02-03 11:44
383494
阅读(50)
评论(0)
推荐(0)
摘要：
License: CC BY-NC-SA 4.0 为什么我用 gradient descent 训了半天 loss 还是不降？ local minima & saddle point 有可能是你卡在 local minima（极小值）了，但大部分情况下这只是个 saddle point（某一维是极小 阅读全文
posted @ 2025-02-03 11:43
383494
阅读(50)
评论(0)
推荐(0)
摘要：
License: CC BY-NC-SA 4.0 loss (test) large loss (test) small loss (train) large 可能是 optimization 不够或模型不够复杂 运气好 loss (train) small overfitting 或 mismat 阅读全文
posted @ 2025-02-03 11:43
383494
阅读(26)
评论(0)
推荐(0)
摘要：
License: CC BY-NC-SA 4.0 机器学习的任务是什么？考虑几个常见的任务：输入一段语音，输出语音中的文字；输入一张图片，输出图片中的内容；输入棋局局面，输出下一步怎么走。总结一下就是找到一个函数。 几个常见的任务： Regression 输出一个标量。 Classification 阅读全文
posted @ 2025-02-03 11:41
383494
阅读(27)
评论(0)
推荐(0)
摘要：
License: CC BY-NC-SA 4.0 卷，就硬卷.jpg Google Colab 的免费 GPU 达到限额了，Kaggle 又没有 GPU 可用[1]，只好用旧手机（刷上 postmarketOS）炼丹。Money is all you need，氪不了但是可以挂机。 由于炼丹炉（旧手 阅读全文
posted @ 2025-01-29 17:14
383494
阅读(24)
评论(0)
推荐(0)
摘要：
License: CC BY-NC-SA 4.0 我真傻，真的。我是单知道 Google colab 有 GPU，不知道 Kaggle 认证完手机号也有 GPU，而且给的比 colab 多多了。终于不用在我的旧手机上炼丹了。 这一部分因为 ml2023 作业 sample code 的 链接 失效了 阅读全文
posted @ 2025-01-29 17:13
383494
阅读(21)
评论(0)
推荐(0)
浙公网安备 33010602011771号