摘要：
例如，循环神经网络在实践中一个常见问题是数值不稳定性。 尽管我们已经应用了梯度裁剪等技巧来缓解这个问题， 但是仍需要通过设计更复杂的序列模型来进一步处理它。 具体来说，我们将引入两个广泛使用的网络， 即门控循环单元（gated recurrent units，GRU）和 长短期记忆网络（long s 阅读全文
摘要：
图论简介： 图（Graph） 图可以被表示为 G={V, E}，其中 V={v1, ... , vN}表示n个点，E= {e1, ... , eM}表示m条边。 常用的储存方式包括邻接表和邻接矩阵。 连通分量（Connected Component）：各节点间至少存在一条边可以连通。 图的最短路入门 阅读全文
摘要：
本章的循环神经网络（recurrent neural network，RNN）可以更好地处理序列信息。 循环神经网络通过引入状态变量存储过去的信息和当前的输入，从而可以确定当前的输出。许多使用循环网络的例子都是基于文本数据的，因此我们将在本章中重点介绍语言模型。 8.1. 序列模型 为了实现对下一时 阅读全文
摘要：
之前没了解过硬件，更没听过开发板。但最近可能会用到，所以看了一些视频和资料，简单梳理一下： 开发板（demoboard）是用于嵌入式系统开发的电路板，Arduino编程语言及芯片，树莓派的操作系统，正点原子以及昇腾的生态等等都很出名。之前厂家面向企业生产，最近好多个人用户也开始使用。开发板与个人计算 阅读全文
摘要：
剪枝是去除搜索树当中不必要的搜索路径，从而优化算法，降低时间开销。 常见的剪枝包括： 1可行性剪枝 2排除等效剪枝 3最优性剪枝 4顺序剪枝 5记忆化剪枝 下面将一一举例介绍其原理： 1可行性剪枝 在寻找所有的解决方案时，若某种方案明显不可行/无法找到答案，则停止继续搜索。 2排除等效剪枝 当该方案 阅读全文
摘要：
RuntimeError: Given input size: (128x1x1). Calculated output size: (128x0x0). Output size is too small 问题原因： 在池化层之前，我的图像就变成1x1的了，使用池化层就出错了 阅读全文
摘要：
本地电脑木得GPU，自己CPU训练模型贼慢，于是打算来colab训练 我本来是这样导入 !pip install d2l 结果导入很慢，等待时间过长，就去网上搜了搜 !pip install d2l==0.14 加了版本号就变得很快了。但是似乎某些函数是在0.16里才有 !pip install d 阅读全文
摘要：
conv_arch = ((1, 64), (1, 128), (2, 256), (2, 512), (2, 512)) 7.1. 深度卷积神经网络（AlexNet） 更多的数据和更高性能的硬件使得深度卷积神经网络在2012年出现突破。 2012年，AlexNet横空出世，首次证明了学习到的特征可 阅读全文
摘要：
6.1从全连接层到卷积层 之前的多层感知机，仅仅通过将图像数据展平成一维向量而忽略了每个图像的空间结构信息。 卷积神经网络则改善了这一点，且卷积神经网络需要的参数少于全连接架构的网络同时卷积也很容易用GPU并行计算，因此更适合于高效的进行计算。 练习 1假设卷积层 (6.1.3)覆盖的局部区域Δ=0 阅读全文
摘要：
5.1块和层 我们一直在通过net(X)调用我们的模型来获得模型的输出。 这实际上是net.__call__(X)的简写。 这个前向传播函数非常简单： 它将列表中的每个块连接在一起，将每个块的输出作为下一个块的输入。 import torch from torch import nn from to 阅读全文