摘要：
在GitHub上进行有效搜索可以帮助您更快地找到所需的代码、项目和用户。以下是一些实用的GitHub搜索技巧： 关键词搜索 直接在搜索框中输入相关关键词，例如 python web framework。 限定搜索范围 使用 in:name、in:description、in:readme 等限定词来 阅读全文
摘要：
微调 步骤 下面将介绍迁移学习中的常见技巧:微调（fine-tuning）。如下图所示，微调包括以下四个步骤。 在源数据集（例如ImageNet数据集）上预训练神经网络模型，即源模型。 创建一个新的神经网络模型，即目标模型。这将复制源模型上的所有模型设计及其参数（输出层除外）。我们假定这些模型参数包 阅读全文
摘要：
编码器 在编码器的接口中，我们只指定长度可变的序列作为编码器的输入X。任何继承自Encoder基类的模型将完成代码实现。 from torch import nn #@save class Encoder(nn.Module): """编码器-解码器架构的基本编码器接口""" def __init_ 阅读全文
摘要：
在介绍数据增广前，我们先了解一个有趣的故事 CES上的真实故事 在某一年的CES展会上，有一家做智能售货机的公司，发现他们的演示机器在现场效果很差，因为现场 不同的色温 桌面的灯光反射不一样 为了解决这个问题，他们连夜现场收集了数据，训练了一个新的模型，同时买了一块新桌布，才解决了这个问题。 数据增 阅读全文
摘要：
本文详细介绍了transformer的整体架构以及各个组件。 transformers的总体架构 下面让我们从简单到复杂来深入了解一下transformers的总体架构 黑盒结构 以机器翻译为例，每当我们输入一段文本，则会输出一段文本，而transformer就是这一过程的黑盒。 编码器解码器结构 阅读全文
摘要：
CPU 提升CPU利用率1 在计算\(a + b\)之前，需要准备数据 主内存->L3缓存->L2缓存->L1缓存->CPU寄存器 L1访问延时：0.5ns L2访问延时：7ns（\(14\times L1访问延时\)） L3访问延时：100ns（\(200\times L2访问延时\)） 提升空间 阅读全文
摘要：
随着我们设计越来越深的网络，深刻理解“新添加的层如何提升神经网络的性能”变得至关重要。更重要的是设计网络的能力，在这种网络中，添加层会使网络更具表现力， 为了取得质的突破，我们需要一些数学基础知识。 函数类 首先，假设有一类特定的神经网络架构\(\mathcal{F}\)，它包括学习速率和其他超参数 阅读全文
摘要：
训练深层神经网络是十分困难的，特别是在较短的时间内使他们收敛更加棘手。 本节将介绍批量规范化（batch normalization） (Ioffe and Szegedy, 2015)，这是一种流行且有效的技术，可持续加速深层网络的收敛速度。 再结合在下一节将介绍的残差块，批量规范化使得研究人员能 阅读全文
摘要：
在Windows操作系统中，可以使用命令提示符（cmd）或Windows PowerShell来查看运行的任务并终止指定的任务。以下是一些常用的命令： 使用命令提示符（cmd） 查看运行的任务： 打开命令提示符，然后输入以下命令：tasklist 这个命令会显示所有当前运行的进程及其对应的进程ID（ 阅读全文
摘要：
在2014年的ImageNet图像识别挑战赛中，一个名叫GoogLeNet (Szegedy et al., 2015)的网络架构大放异彩。 GoogLeNet吸收了NiN中串联网络的思想，并在此基础上做了改进。 这篇论文的一个重点是解决了什么样大小的卷积核最合适的问题。 毕竟，以前流行的网络使用小 阅读全文