随笔分类 - Deep Learning
摘要：ref :https://jishuin.proginn.com/p/763bfbd37c6f https://zhuanlan.zhihu.com/p/46990010 https://zhuanlan.zhihu.com/p/48508221 Transformer是Google在2017年提出
阅读全文
摘要：ref：https://www.mathworks.com/help/vision/ug/anchor-boxes-for-object-detection.html Object detection using deep learning neural networks provide a fas
阅读全文
摘要：Batch Normalization； Layer Normalizaiton； Instance Normalization； Group Normalization； Switchable Normalization。 why normalization? 神经网络学习过程的本质就是为了学习数
阅读全文
摘要：手稿，只是能激发引导自己的思路，助力快速理解复习。数学上，某些矩阵形状没有那么严谨，但是逻辑正确。一次写过，字体，排版也比较随意。这种版本才能保存灵感吧～自我逻辑清晰不啰嗦，但是客观排版可能影响逻辑理解。 红色部分提示，多思考一下，你一定会get到一个思路清晰的BP。
阅读全文
摘要：import torch import torchvision import matplotlib.pyplot as plt import torch.nn as nn import torch.nn.functional as F from torch.utils.data import Dat
阅读全文
摘要：0摘要： 尽管自动车牌识别（ALPR）的商业和学术方法数量众多，但大多数现有方法都集中在特定车牌（LP）区域（例如欧洲，美国，巴西，中国台湾等），并且经常探索包含近似正面图像的数据集。本文提出了一个完整的ALPR系统，专注于无约束的场景，其中车牌图像可能由于倾斜视角而存在严重的失真。我们的主要贡献是
阅读全文
摘要：安装MXNet 1.安装 CUDA8.0对应的mxnet版本是mxnet-cu80（同理如果是CUDA9.0对应版本则是mxnet-cu90）。 如果pip安装过慢，请参考 Ubuntu16.10下配置pip国内镜像源加速安装进行加速。 $ sudo pip install --pre mxnet-
阅读全文
摘要：Step 1：数据加载和处理 一般使用深度学习框架会经过下面几个流程： 模型定义（包括损失函数的选择）——>数据处理和加载——>训练（可能包括训练过程可视化）——>测试 所以自己写代码的时候基本上按照这四大模块四步走就ok了。 本例步骤： A、Load and normalizing the CIF
阅读全文
摘要：由于新的神经网络架构无时无刻不在涌现，想要记录所有的神经网络是很困难的事情。要把所有这些缩略语指代的网络(DCIGN，IiLSTM，DCGAN等)都弄清，一开始估计还无从下手。 下表包含了大部分常用的模型(大部分是神经网络还有一些其他的模型)。虽然这些架构都是新奇独特的，但当我开始把它们的结果画下来
阅读全文
摘要：原文地址：https://arxiv.org/pdf/1711.10370.pdf 这是何恺明老师发表于CVPR2018的一篇优秀paper。 先简单回顾一下语义分割领域之前的工作 那么什么是语义分割？ 语义分割其实就是对图片的每个像素都做分类。其中，较为重要的语义分割数据集有：VOC2012 以及
阅读全文
摘要：paper链接：https://arxiv.org/pdf/1812.09953.pdf code链接：https://github.com/YangZhang4065/AdaptationSeg 摘要： 在过去的5年里面，卷积神经网络在语义分割领域大获全胜，语义分割是许多其他应用的核心任务之一，这
阅读全文
摘要：深度学习已经在图像分类、检测、分割、高分辨率图像生成等诸多领域取得了突破性的成绩。但是它也存在一些问题。 首先，它与传统的机器学习方法一样，通常假设训练数据与测试数据服从同样的分布，或者是在训练数据上的预测结果与在测试数据上的预测结果服从同样的分布。而实际上这两者存在一定的偏差，比如在测试数据上的预
阅读全文
摘要：2.1 TensorFlow的主要依赖包 TensorFlow依赖的两个最主要的工具包——Protocol Buffer和Bazel。 2.1.1 Protocol Buffer Protocol Buffer是谷歌开发的处理结构化数据的工具。结构化数据指的是拥有多种属性的数据，比如： 当要将这些结
阅读全文
摘要：一、正则化介绍 问题：为什么要正则化？ NFL（没有免费的午餐）定理： 没有一种ML算法总是比别的好 好算法和坏算法的期望值相同，甚至最优算法跟随机猜测一样 前提：所有问题等概率出现且同等重要 实际并非如此，具体情况具体分析，把当前问题解决好就行了 不要指望找到放之四海而皆准的万能算法！ 方差和偏差
阅读全文
摘要：边界填充（padding）：卷积过程中，越靠近图片中间位置的像素点越容易被卷积计算多次，越靠近边缘的像素点被卷积计算的次数越少，填充就是为了使原来边缘像素点的位置变得相对靠近中部，而我们又不想让填充的数据影响到我们的计算结果，故填充值选择均用0来填充。 池化层不需要参数、只是对特征图进行压缩操作，以
阅读全文
摘要：基本概念理解： 一个epoch：当前所有数据都跑（迭代）了一遍； 那么两个epoch，就是把所有数据跑了两遍，三个epoch就是把所有数据跑了三遍，以此类推。 batch_size：每次迭代多少个数据；（batch_size称作批处理， 它的作用可以理解为每次训练100个数据（在这里假设将其设置为1
阅读全文
摘要：K-近邻与交叉验证 1 选取超参数的正确方法是：将原始训练集分为训练集和验证集，我们在验证集上尝试不同的超参数，最后保留表现最好的那个。 2 如果训练数据量不够，使用交叉验证法，它能帮助我们在选取最优超参数的时候减少噪音。 3 一旦找到最优的超参数，就让算法以该参数在测试集跑且只跑一次，并根据测试结
阅读全文
摘要：一、Training of a Single-Layer Neural Network 1 Delta Rule Consider a single-layer neural network, as shown in Figure 2-11. In the figure, d i is the co
阅读全文
摘要：第四章 数值计算（numerical calculation）和第五章 机器学习基础下去自己看。 一、深度前馈网络（Deep Feedfarward Network，DFN）概要： DFN：深度前馈网络，或前馈神经网络（FFN）/多层感知机（MLP） 目标：近似模拟某函数f y=f(x;θ) 学习参
阅读全文
