摘要：
在这之前，在好好学一下1x1卷积层的知识： 其实就是改变维度和增加非线性性 https://blog.csdn.net/yaochunchu/article/details/95527760?spm=1001.2101.3001.6650.3&utm_medium=distribute.pc_rel 阅读全文
摘要：
AlexNet比LeNet更深更大，带来了更好的精度，那么是不是再深一些再大一些，我们就会更好？ 更深更大，可以通过更多的全连接层（太贵）、更多的卷积层以及将卷积层组成块来实现。 VGG思想：将小块先组成大块，最后再去组合。 VGG块：用大量的3x3（一般再大效果会不好）的卷积层堆起来加一个池化层做 阅读全文
摘要：
AlexNet：深度卷积神经网络，2012年左右提出。 在这之前，2000年左右开始，最火的机器学习算法是核方法（Learn with kernels）：用核函数，计算相关性。 机器学习，最核心最基础的一点，就是，能跑得动。 ImageNet的数据集： 可以看到和手写数字识别的数据集相比，样本和类数 阅读全文
摘要：
LeNet卷积神经网络 所谓卷积Net，就是将空间信息不停地压缩，压缩，在压缩，最后将特征变得很小很小，通道数变得越来越多，最后甚至特征会变成1，通道数会变成上千，最后做全连接输出，这便是卷积神经网络的内核。 feature map:输出 LeNet： 输入是一个32x32的图，第一层卷积，大概是用 阅读全文
摘要：
二维最大池化层： 返回窗口中的最大值。 池化层与卷积层类似，都具有填充和步幅； 没有可学习的参数； 在每个输入通道应用池化层以获得相应的输出通道； 输出通道数==输入通道数 ## 这里不用池化层做多通道融合的原因，是因为通道融合常常是卷积的任务。 除了最大池化层，还有一个平均池化层最常用。 池化层常 阅读全文
摘要：
对于RGB这种多个输入通道的图： 每个通道都有一个卷积核，结果是所有通道卷积结果的和。 我们可以有多个输出通道： 但是到目前为止我们只用到单输出通道。 多输入和输出通道，可以用多个卷积核提取不同的特定的模式，最后加权，得到一个组合的模式识别。 深度学习其实就是先用简单的卷积核识别这些最简单的纹理，然 阅读全文
摘要：
看到一句话，其实卷积层就是一种滤波器，放大它感兴趣的，缩小它不感兴趣的，很有道理。 二维卷积层的数学表达： 这里这个W其实就是kernel，是在这里通过这种方式学习出来的参数，表现出来的就是一个矩阵。b是偏差，通过广播机制作用给Y。 二维交叉和二维卷积，就差一个翻转的关系： 为了简单，我们把负号删掉 阅读全文
摘要：
对于图片分类问题，利用MLP会出现模型太大（大到离谱）的问题。比如你分类猫狗的模型的参数比世界上所有的狗和猫都多，这显然是不对的。 在处理图片（找寻某一个目标的任务时）遵循两个原则： 1、平移不变性 2、局部性 “卷积就是一个特殊的全连接层” 在此之前，看王木头的视频：从“卷积”、到“图像卷积操作” 阅读全文
摘要：
我的thinkpad没有GPU（哭哭惹）； 我家里那台顶配偏科机也没有GPU！！！（放声大哭）； 所以只能在google上玩玩了，唉。 倒也还可以，最起码是免费的。 因为我没有GPU，自然也装不了cuda…… 关于上述GPU参数：https://www.cnblogs.com/testzcy/p/1 阅读全文
摘要：
今天写了两版代码，相关问题也都放在注释里了，Q&A部分在这里。 1、将变量转换成伪变量（one-hot encoding）时内存炸了怎么办？ 1.用稀疏矩阵。 2.对于一段话，我们独立热编码的时候切词用单个的词语做特征维度。 3.离散化离散类别太多以至于无法处理，只能丢掉了…… 2、模型，可以理解为 阅读全文