摘要：
AlexNet AlexNet从2012年开始到今天，真正的引爆了深度学习的热潮。 2000年之前，最火的机器学习方法应该是核方法。 特征提取 & 选择核函数来计算相关性 & 凸优化问题 & 漂亮的定理。 使用核方法，可以变换这个空间，将这个空间拉成我们想要的样子，通过核函数计算之后就会成为一个凸优 阅读全文
摘要：
代码 我们把文本当作一个时序序列，这也是整个自然语言处理干的事情。NLP说白了就是把文本拿过来，把里面的每一个字符，词当作一个变量，作为一个样本，然后样本之间是有时序信息的。可以认为文本就是一条很长的序列。 文本预处理：核心思想就是如何把这些文本变成可以训练的东西。 tokens：这里是按照行来分词 阅读全文
摘要：
LeNet 上面是LeNet的结构示意图。 模型定义 net = nn.Sequential( # 这里输出是28*28，所以要padding=2，填充为32*32 nn.Conv2d(1, 6, kernel_size=5, padding=2), nn.Sigmoid(), nn.AvgPool 阅读全文
摘要：
序列模型 我们这个是第四部分的一开始，叫做序列模型的东西，也就是 Sequence Model。其实就是整个RNN，整个NLP都是在处理一个序列。我们之前看到的图片是一个空间信息，而我们现在要考虑一个时间信息的模型，这个就是很不一样的地方。 之前我们都是假设有t个独立的随机变量，也就是这张图片和上一 阅读全文
摘要：
池化层 卷积层对于位置是非常敏感的！ 这里用检测垂直边缘作为例子，有的时候卷积对位置太敏感也不是好事，比如拍照的时候手抖之类的，边缘就不会那么整齐，所以有时候我们是需要一定程度的平移不变形的。 池化操作也是使用滑动窗口来取值。 上面实际上是没有padding的，所以大小不一致。其实应该是要paddi 阅读全文
摘要：
多输入输出通道 通道数 channel，这个确实是大家通常回去仔细设的超参数。 我感觉沐神想说的就是下面的说法，一个多通道的卷积核大小可以是$(k_h,k_w,input_{channel},output_{channel})$ 怎么理解呢？$(k_h,k_w)$就很好理解了，input_chann 阅读全文
摘要：
填充和步幅 先将两个控制卷积层输出大小的超参数：填充 & 步幅。 上面是一个例子，如果是一张$3232$的图片，使用一个$55$的kernel来进行卷积，那么在第7层的时候图片大小会变成$4*4$,那么就不能在进行卷积了，换句话说就是，卷积层最多只能进行7层。 那如果要做深应该怎么办？（其实深度学习 阅读全文
摘要：
从全连接到卷积 卷积是深度学习中最重要的概念之一，今天就学习下卷积的基本知识。 36M*100=3.6B。 使用MLP来处理图片会遇到权重参数过多的问题。 就是100个单元的单隐层，这里的权重都需要 3.6*1e9 * 4 / 1024 / 1024 / 1024 = 13.4GB的内存，这就需要很 阅读全文
摘要：
竞赛总结 我们讲知识，也不可能所有东西都cover到，让大家竞赛不是让大家去学某个特定的知识，而是说大家遇到一个问题，怎么去找一个解决方案。这一次的解决方案和下一次的会不一样，但是问题是你怎么去找这个东西，去问人也行，去搜索也行。 私榜和公开榜是不一样的，大家能看到的都是公榜的（私榜就是为了防止大家 阅读全文
摘要：
使用GPU 其实如果没有钱买GPU的话，使用Google Colab也是一个不错的选择，大概是10 dollar一个月。 算力其实是很贵的... 利用好算力是一件很重要的事情！ 关于Nvidia Driver too old的问题，如果是服务器的话，这里不要盲目的去更新显卡驱动，这样子会把别人的环境 阅读全文