深度学习 - 随笔分类 - ZhiboZhao

直观理解图像的傅里叶变换

摘要：由于不是专门的信号专业，当我我问很多身边的人怎么解释傅里叶变换时，很少有人能够理解，知道傅里叶变换是用来区分信号频率的这一层面已经算是比较难得了。在做数字图像处理时，图像的空间域和频率域相信也劝退了很多初学者，因此本文就从傅里叶变换的本质开始，逐步地对图像的傅里叶变换进行解释。一、一维傅里叶变换阅读全文

posted @ 2021-12-09 20:06 ZhiboZhao 阅读(10186) 评论(0) 推荐(2) 编辑

卷积神经网络之手撕代码

摘要：1、计算卷积神经网络的输出尺寸

n = \frac{W - F + 2 P}{S} + 1

$n = \dfrac{W-F+2P}{S}+1$ 其中：

N

$N$ 代表输出尺寸，

W

$W$ 代表输入尺寸，

F

$F$ 代表卷积核大小，

P

$P$ 代表填充尺寸，

S

$S$ 代表步长 2、网络参数量的计算对于CNN而言，每个卷积层的参数量如下： \[ pa 阅读全文

posted @ 2021-09-26 11:52 ZhiboZhao 阅读(1002) 评论(0) 推荐(1) 编辑

神经网络基础篇

摘要：本章内容主要描述了在机器学习中的前向传播，反向求导的原理与计算，常见的激活函数和损失函数，以及在网络训练过程中过拟合，梯度消失/爆炸等产生的原理以及解决方案。本人也在学习过程中，如果有错误之处，请各位多多指教。 1.1 神经网络的前向传播我们首先定义如下图所示的神经网络，为了简单起见，所有的层都不阅读全文

posted @ 2021-08-30 14:43 ZhiboZhao 阅读(496) 评论(0) 推荐(2) 编辑

深度学习中的优化方法（二）

摘要：在上一篇文章中深度学习中的优化方法（一） - ZhiboZhao - 博客园 (cnblogs.com) 我们主要讲到了一维函数

f (x) : R \to R

$f(x):R \rightarrow R$ 的优化方法，在实际情况中，待优化的函数往往是多维的

f (x) : R^{n} \to R

$f(x):R^{n} \rightarrow R$ ，因此本文阅读全文

posted @ 2021-08-04 13:31 ZhiboZhao 阅读(836) 评论(0) 推荐(0) 编辑

谈谈机器学习模型的可解释性

摘要：深度学习一直被认为是一个黑盒子，但是试图对模型的理解仍然是非常必要的。先从一个例子来说明解释神经网络的重要性：古代一个小镇上的一匹马能够做数学题，比如给它一个题目 2+3 ，它踏马蹄 5 下后就会停下，这匹马被当地称作神马汉斯。后来人们发现，汉斯其实并不会做数学题，它通过观察主人的反应来判断什么时候阅读全文

posted @ 2021-07-29 16:39 ZhiboZhao 阅读(654) 评论(0) 推荐(0) 编辑

深度学习中的优化方法（一）

摘要：写在前面：梯度下降法是深度学习优化的基础，因此本文首先探讨一维优化算法，然后扩展到多维。本文根据《最优化导论》(孙志强等译)的内容整理而来，由于笔者水平和精力有限，在此只是在简单层面做一个理解，如果要追求更严谨的数学理论，请大家参考相关书籍。在本文中，我们讨论目标函数为一元单值函数 \(f:R\ri 阅读全文

posted @ 2021-07-27 17:38 ZhiboZhao 阅读(604) 评论(0) 推荐(0) 编辑

深度学习中图像上采样的方法

摘要：深度学习中的图像上采样方法所谓上采样，就是将图像从一个较低的尺寸

[C, H, W]

$[C, H, W]$ 恢复到一个较大的尺寸

[C, s H, s W]

$[C, sH, sW]$ ，其中

s

$s$ 是上采样倍数，从小图到大图这一变换过程也叫图像的超分辨率重建。图像超分辨率重建是一个研究很深入的领域，对于大部分的应用场景，我们不需阅读全文

posted @ 2021-07-17 21:18 ZhiboZhao 阅读(4928) 评论(0) 推荐(1) 编辑

深度学习网络模型的轻量化方法

摘要：深度学习网络的轻量化由于大部分的深度神经网络模型的参数量很大，无法满足直接部署到移动端的条件，因此在不严重影响模型性能的前提下对模型进行压缩加速，来减少网络参数量和计算复杂度，提升运算能力。一、深度可分离卷积了解深度可分离卷积之前，我们先看一下常规的卷积操作：对于一张 \(3 \times 1 阅读全文

posted @ 2021-07-17 11:30 ZhiboZhao 阅读(3850) 评论(0) 推荐(0) 编辑

从GAN到WGAN的来龙去脉

摘要：一、原始GAN的理论分析 1.1 数学描述其实GAN的原理很好理解，网络结构主要包含生成器 (generator) 和鉴别器 (discriminator) ，数据主要包括目标样本

x_{r} \sim P_{r}

$x_r \sim P_{r}$ , 随机输入样本

z \sim P_{z}

$z \sim P_{z}$ 。生成器的目的就是根据 \( 阅读全文

posted @ 2021-07-16 22:19 ZhiboZhao 阅读(842) 评论(0) 推荐(0) 编辑

Pytorch的模型加速方法：Dataparallel (DP) 和 DataparallelDistributedparallel (DDP)

摘要：Dataparallel 和 DataparallelDistributed 的区别一、Dataparallel（DP） 1.1 Dartaparallel 的使用方式 Dataparallel 的使用方式比较简单，只需要一句话即可： net = nn.Dataparallel(net, devi 阅读全文

posted @ 2021-07-16 15:51 ZhiboZhao 阅读(3988) 评论(0) 推荐(1) 编辑

全面解析Pytorch框架下模型存储，加载以及冻结

摘要：最近在做试验中遇到了一些深度网络模型加载以及存储的问题，因此整理了一份比较全面的在 PyTorch 框架下有关模型的问题。首先咱们先定义一个网络来进行后续的分析： 1、本文通用的网络模型 import torch import torch.nn as nn ''' 定义网络中第一个网络模块 Net1 阅读全文

posted @ 2021-07-01 14:52 ZhiboZhao 阅读(1595) 评论(0) 推荐(1) 编辑

一文详解深度学习中的Normalization

摘要：一、深度学习中的 Internal Covariate Shift（ICS）深度学习的训练过程可以看成很多层的叠加，而每一层的参数更新会导致下一层输入数据的分布发生变化，通过层层累加，高层的输入分布变化会非常剧烈导致上层的数据需要不断去变化以适应底层参数的更新。因此学习率，初始化权重等超参数的设阅读全文

posted @ 2021-06-29 21:28 ZhiboZhao 阅读(474) 评论(0) 推荐(0) 编辑

ZhiboZhao

随笔分类 - 深度学习

公告

搜索

常用链接

积分与排名

随笔分类

随笔档案

阅读排行榜

评论排行榜

推荐排行榜

最新评论