随笔分类 - cs231n
摘要：1 前言 卷积神经网络和上一章讲的常规神经网络非常相似：它们都是由神经元组成，神经元中有具有学习能力的权重和偏差。 每个神经元都得到一些输入数据，进行内积运算后再进行激活函数运算。 整个网络依旧是一个可导的评分函数：该函数的输入是原始的图像像素，输出是不同类别的评分。 在最后一层（往往是全连接层），
阅读全文
摘要：1 训练 在前面当中我们讨论了神经网络静态的部分：包括神经网络结构、神经元类型、数据部分、损失函数部分等。 这个部分我们集中讲讲动态的部分，主要是训练的事情，集中在实际工程实践训练过程中要注意的一些点，如何找到最合适的参数。 1.1 关于梯度检验 之前的博文我们提到过，我们需要比对数值梯度和解析法求
阅读全文
摘要：1 数据预处理 关于数据预处理我们有3个常用的符号，数据矩阵，假设其尺寸是（是数据样本的数量，是数据的维度）。 1.1 均值减去 均值减法（Mean subtraction）是预处理最常用的形式。它对数据中每个独立特征减去平均值，从几何上可以理解为在每个
阅读全文
摘要：1 简介 在线性分类一节中，在给出图像的情况下，是使用来计算不同视觉类别的评分，其中是一个矩阵，是一个输入列向量，它包含了图像的全部像素数据。 在使用数据库CIFAR 10的案例中，是一个的列向量，是一个$[10 \times
阅读全文
摘要：1 反向传播的直观理解 反向传播是利用链式法则递归计算表达式的梯度的方法。 理解反向传播过程及其精妙之处，对于理解、实现、设计和调试神经网络非常关键。 反向传播是一个优美的局部过程。在整个计算线路图中，每个门单元都会得到一些输入并立即计算两个东西： 这个门的输出值 其输出值关于输入值的局部梯度 门单
阅读全文
摘要：1 损失函数可视化 损失函数一般都是定义在高维度的空间中（比如，在CIFAR 10中一个线性分类器的权重矩阵大小是[10x3073]，就有30730个参数），这样要将其可视化就很困难。然而办法还是有的，在1个维度或者2个维度的方向上对高维空间进行切片，就能得到一些直观感受。 例如，随机生成一个权重矩
阅读全文
摘要：1 概述 两层全连接网络。 代码实现环境：python3 2 数据处理 2.1 加载数据集 将原始数据集放入“data/cifar10/”文件夹下。 运行结果如下： 2.2 划分数据集 将加载好的数据集划分为训练集，验证集，以及测试集。 运行结果如下： 2.3 归一化 将划分好的数据集归一化，即：所
阅读全文
摘要：1 概述 基础的理论知识参考 "线性SVM与Softmax分类器" 。 代码实现环境：python3 2 数据预处理 2.1 加载数据 将原始数据集放入“data/cifar10/”文件夹下。 运行结果如下： 2.2 划分数据集 将加载好的数据集划分为训练集，验证集，测试集。 运行结果如下： 2.3
阅读全文
摘要：1 概述 基础的理论知识参考 "线性SVM与Softmax分类器" 。 代码实现环境：python3 2 数据处理 2.1 加载数据集 将原始数据集放入“data/cifar10/”文件夹下。 运行结果如下： 2.2 划分数据集 将加载好的数据集划分为训练集，验证集，以及测试集。 运行结果为： 2.
阅读全文
摘要：1 引入 "上一篇" 介绍了图像分类问题。图像分类的任务，就是从已有的固定分类标签集合中选择一个并分配给一张图像。我们还介绍了k Nearest Neighbor （k NN）分类器，该分类器的基本思想是通过将测试图像与训练集带标签的图像进行比较，来给测试图像打上分类标签。k Nearest Nei
阅读全文
摘要：1 图像分类问题 1.1 什么是图像分类 所谓图像分类问题，就是已有固定的分类标签集合，然后对于输入的图像，从分类标签集合中找出一个分类标签，最后把分类标签分配给该输入图像。虽然看起来挺简单的，但这可是计算机视觉领域的核心问题之一，并且有着各种各样的实际应用。计算机视觉领域中很多看似不同的问题（比如
阅读全文
