生成对抗网络 - GAN
摘要：GAN 简介 GAN，Generative Adversarial Networks，生成对抗网络； GAN 被认为是 AI 领域 最有趣的 idea，一句话，历史地位很高，很火； GAN 是由 Goodfellow 大神在 2014 年提出来的，当时的 G 神还只是个蒙特利尔大学的博士生； pap
阅读全文
GPU及深度学习 环境搭建
摘要：基本概念 1、什么是CUDA CUDA(ComputeUnified Device Architecture)，一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题 2、什么是CUDNN NVIDIA cuDNN是用于深度神经网络的GPU加速库。它强调性能、易用性和低内存开
阅读全文
MobileNet V1 V2
摘要：MobileNetV1 paper https://arxiv.org/abs/1704.04861 MobileNet 由谷歌在 2017 年提出，是一款专注于在移动设备和嵌入式设备上的 轻量级 CNN神经网络，并 迅速 衍生了 v1 v2 v3 三个版本； 相比于传统的 CNN 网络，在准确率小
阅读全文
图像分割 - LaneNet + H-Net 车道线检测
摘要：本文是对论文的解读与思考 论文： Towards End-to-End Lane Detection: an Instance Segmentation Approach introduction 该论文提出了一种 端到端 的 实例分割方法，用于车道线检测； 论文包含 LaneNet + H-Net
阅读全文
1x1卷积核的作用
摘要：本文简要介绍一下 1x1 卷积核的作用 1. 改变通道数 2. 减少训练参数 3. 增加非线性 详情见参考资料 参考资料： https://mp.weixin.qq.com/s/HqCUgJ0C34GuTjxXw6UdYg CNN中神奇的1x1卷积 https://zhuanlan.zhihu.co
阅读全文
迁移学习
摘要：source data 我们称为源域，通常源域数据量很大； target data 我们称为目标域，通常数据量很小； 迁移学习是把 在 源域 上学到的东西 迁移到 目标域上； 迁移学习不仅可以用于 监督学习，也可以用于无监督学习； 保守训练 预训练的模型是非常经典的模型，大数据集下得到的泛化能力很强
阅读全文
图像分割 - U-Net and U-Net++
摘要：铺垫 在图像分割领域，全卷积网络 FCN 是非常经典的网络，而 U-Net 在医学图像分割方面表现的更加突出； FCN vs U-Nnet 相同点：二者都采用了 encode 和 decode 的经典思路，也就是 AutoEncode 的思路； 这种思路起初被用于 图像压缩和去噪，后来被用到图像分割
阅读全文
图像分割 - FCN
摘要：图像分割，也可以称为 语义分割，图像语义分割， 它是指像素级的分类，即图像上每个像素的类别，如属于 人还是兽，从而进行区域分割； FCN VS CNN 网络结构 CNN 是图像级的分类，很多地方把他们混在一起讲了一大堆，个人觉得没必要，本文只讲重要的，废话请百度； 全卷积网络，Full Convol
阅读全文
MTCNN - ohem
摘要：mtcnn 的 ohem 思想很简单，就是把每个 batch 样本的 loss 排序，选取前 一定比例 的 loss 作为 该 batch 的 loss； 我们可以这么理解，只选大 loss，小 loss 被弃用，相当于 小 loss 为 0，0 进行反向传播时自然不用再算了； 本文重点在解读 oh
阅读全文
MTCNN - 人脸检测
摘要：MTCNN，multi task convolutional neural network，多任务卷积神经网络； 它同时实现了人脸检测和关键点识别，关键点识别也叫人脸对齐； 检测和对齐是很多其他人脸应用的基础，如人脸识别，表情识别； 网络特点： 1. 级联网络 2. 在线困难样本选择 online
阅读全文
tensorflow 加载预训练模型进行 finetune 的操作解析
摘要：这是一篇需要仔细思考的博客； 模型加载 首先需要了解模型保存的形式，包含了 checkpoint、data、meta 等文件； 模型加载不仅可以从 data 加载训练好的权重，还可以从 meta 加载计算图， 加载计算图我们可以理解为引入了 计算节点和变量，引入变量很重要，这样我们无需自己去创造变量
阅读全文
损失函数汇总 及 Pytorch用法汇总（迁移中）
摘要：损失函数，也可叫做 目标函数、代价函数 等，其意义不是完全一致，但是大体相同，不必纠结概念 常见 损失函数 0-1 损失：Zero-one loss 预测与实际相等为 0，不相等为 1； 缺点：定义太过严格，比如预测为 0.99，实际为 1，显然预测没问题，但是上述损失为 1 应用：不常用 感知损失
阅读全文
自编码器
摘要：自编码器论文的提出是为了神经网络权重更好的初始化，他将多层网络一层一层的通过自编码器确定初始权重，最终再对模型进行权重训练； 这种初始化权重的方式目前已经不是主流，但他的思路可以借鉴到很多场景； 模型简介 自编码器，AutoEncode，它分为两部分，前一部分是编码器，后一部分是解码器， 它的原理非
阅读全文
目标检测(8)-Yolo v3
摘要：学习 Yolo v3 之前需要学习 v1，v2 Yolo v3 较 v1、v2 并没有太多的创新，主要是融合了其他的 trick，不过效果还可以； 主要改进有 3 点： 1. 主网络为 Darknet-53，借鉴了 resnet 2. 多尺度特征，大大提高了小物体的识别 3. softmax 多分类
阅读全文
目标检测(7)-Yolo v2
摘要：Yolo v2 论文名称 Yolo9000：Better，Faster，Stronger 该论文实际上包含了2个模型，Yolov2 和 Yolo9000，Yolo v2 是在 Yolo v1 基础上进行了改进， 此外作者提出了一种 检测和分类 的联合训练方法，并用该方法在 COCO 检测数据集 和
阅读全文
目标检测(6)-Yolo v1
摘要：算法发展史 近几年来，目标检测的算法取得了很大突破。比较流行的算法可以分为 2 类： 一类是基于 Region Proposal 的 R-CNN 系列算法，属于 two-stage 算法，也就是流水线算法，先使用启发式方法(Selective Search)或者 CNN 网络(RPN) 产生 Reg
阅读全文
卷积神经网络-池化汇总
摘要：池化的概念是在 AlexNet 网络中提出的，之前叫做降采样； 池化到底在做什么，不多解释； 池化的作用 首先需要明确一下池化发生在哪里：卷积后经过激活函数形成了 feature map，即 Relu(wx + b) ，后面接池化层 1. 池化可以形象化的理解为降维 2. 池化避免了局部位移或者微小
阅读全文
神经网络-初始化参数
摘要：初始化 w b，其实并没有特别统一的规定，只是有一些经验，而这些经验并没有被严格证明，所以不保证一定有效； 假设我们选择 sigmoid 为激活函数，我们需要把 sigmoid 的输入定格于 0 附近，因为这里梯度比较明显； 换句话说就是要把 wx+b 的值置于 0 左右，这样才不容易梯度消失； 核
阅读全文
吴恩达读书笔记【5】-流水线与端到端
摘要：首先，我们可以做这样简单的归纳：流水线适合传统机器学习算法，端到端适合深度学习算法； 【不绝对，但大多数情况下适用】 模型1-情感分类 假如我们正在构建一个情感分类的系统， 输入一句话，输出正面还是负面评论，如 这个拖把非常好用 正面， 这个产品非常不好用 负面， 对于流水线系统 可能包含多个组件，
阅读全文
吴恩达读书笔记【3】-基于不同分布数据的模型
摘要：什么叫不同分布的数据 举几个例子来说明 例子1，要训练一个手机端的猫识别器，现在有 10000 张手机端的照片，并且被人为标记为是不是猫，然后我们可以从互联网上得到 200000 张猫咪图片，网络上的照片和移动手机端的照片就属于不同分布； 例子2，要训练一个语音识别系统，将某个地址转换成语音，现在有
阅读全文
