该文被密码保护。 阅读全文
摘要：
为什么前面的nn.Conv2d需要指定输出通道数和输入通道数，但是这里的nn.MaxPool2d只用指定核的大小呢？是因为前者在初始化的时候需要明确参数的个数这个样子才能知道要初始化什么东西，而后者是没有参数的，所以只用知道核的大小就好了 阅读全文
摘要：
\((4)\) 这道题目探讨了手工设计卷积核在数学运算中的应用，主要涉及导数和积分的离散化实现。以下是分步解释： 1. 二阶导数的卷积核形式 答案： \[[-1 \quad 2 \quad -1] \]解释： 在离散信号中，二阶导数可通过中心差分近似：\[f''(x) \approx f(x+1) 阅读全文
摘要：
先来按照任务的开放性对自然语言生成的任务进行分类 不那么开放的 机器翻译 显然输出空间不是那么大 总结 一般开放的 对话 非常开放的 故事生成 将上面的任务总结成一条线如下 注意，不是说机器翻译就一定要用编码器-解码器，也不是说故事生成就一定要用解码器，上面只是一个惯例。只不过大家这么做是有原因的： 阅读全文
摘要：
R6 我会使用UDP，因为TCP有拥塞控制，而且还有提前的三次握手，这使得TCP更慢；UDP只用在一次RTT中就可以完成 R7 军事程序，特别是战争期间进行消息传递的程序；云文档编辑，比如腾讯文档 R11 TCP提供可靠数据传输服务，对于电子邮件来说，是不能容忍消息丢失的，且要求数据按照发送顺序到达 阅读全文
摘要：
\((3)\) 这里两个GPU同时进行运算不是我们说的GPU并行运算，我们说的GPU并行运算是下面这个意思 你的问题涉及到计算机硬件的并行计算能力，需要从 CPU 和 GPU 的架构设计差异来理解。以下是详细解答： 1. GPU 的并行计算：同一 GPU 可以并行运算 (1) GPU 的并行性特点 阅读全文
摘要：
在自定义的 MySequential 类中，使用 self._modules 而不是列表来存储子模块的原因主要有以下两点： 1. 参数注册与跟踪 PyTorch 的 nn.Module 机制要求子模块必须被显式注册到父模块的 self._modules 字典中，这样才能被正确跟踪。具体来说： 参数收 阅读全文
摘要：
GPT-1 GPT-2（至少要三个支持是因为网络上的垃圾信息很多，有了支持能够显著减少垃圾信息的量） GPT-2首次实现了零样本学习。零样本学习是指模型在从未接触过特定任务的训练数据 、无需额外示例 、无需调整参数（梯度更新）的情况下，直接完成任务的能力。例如，用户只需给模型一个自然语言描述的任务（ 阅读全文
摘要：
Problem Set 2.1 Problem 2.1.1 将\(2n\)个人按照评分从大到小排序，前\(n\)个人为一组，后\(n\)个人为一组，根据贪心不难知道算法正确 def max_score_difference(scores, n): scores.sort(reverse=True) 阅读全文
摘要：
我们构建的tokenizer是包含一个<UNK>的，我们没见过的词都嵌入到<UNK>中，如下 这看起来不是很好，因为我们没见过的词不仅包含不在预训练词表中的，还包含图中所说的几种情况：变种（taaaaasty，可能是某一位网友故意这么打来强调美味），拼写错误和新单词 还有一种情形就是书上说的同一动词 阅读全文
摘要：
\((3)\) P116的说明，感觉就是矩阵的特征值与矩阵的乘积很相关，所以要控制梯度矩阵的特征值 \((4)\) 采用该方法的主要原因是通过动态调整每层的学习率来维持训练的稳定性，具体分析如下： 梯度与权重的平衡： 权重的范数（(|w^l|)）反映参数的当前幅值，梯度范数（(|\nabla L(w 阅读全文