摘要：
目录 平均池化 最大值池化 参考资料 平均池化 x和卷积核K做卷积运算，得到σ，对σ的做平均池化，得到S，然后S与GT计算MSE损失。 对应代码 # -*- coding: utf-8 -*- import torch import torch.nn as nn import torch.nn.fu 阅读全文
摘要：
目录 基础概念 自定义一个网络为例 初始化模型参数 计算卷积核上的梯度 梯度更新 PyTorch实战 参考资料 在很多机器学习的资料中，对梯度反向传播在全连接神经网络的应用介绍的比较多；但是较少有介绍过卷积网络的梯度是如何反向传播的，这也是知乎公司算法部门的一道面试题。 其实这个题目并不难，我们举一 阅读全文
摘要：
目录 两者所属范畴 生成模型定义 为什么叫生成模型？ 判别模型定义 一个例子通俗解释两者 判别模型 VS 生成模型优缺点 参考资料 两者所属范畴 返回目录 生成模型定义 生成方法由数据可以学习到一个联合概率分布P(X,Y)，然后通过一定方式，就可以转为一个预测模型，即生成模型： 典型的生成模型有：朴 阅读全文
摘要：
目录 使用非对称卷积分解大filters 重新设计pooling层 辅助构造器 使用标签平滑 参考资料 在《深度学习面试题20：GoogLeNet(Inception V1)》和《深度学习面试题26：GoogLeNet(Inception V2)》中对前两个Inception版本做了介绍，下面主要阐 阅读全文
摘要：
目录 产生背景 工作原理 参考资料 产生背景 假设选用softmax交叉熵训练一个三分类模型，某样本经过网络最后一层的输出为向量x=(1.0, 5.0, 4.0)，对x进行softmax转换输出为： 假设该样本y=[0, 1, 0]，那损失loss: 按softmax交叉熵优化时，针对这个样本而言， 阅读全文
摘要：
目录 产生背景 举例 参考资料 产生背景 之前在深度学习面试题16：小卷积核级联卷积VS大卷积核卷积中介绍过小卷积核的三个优势： ①整合了三个非线性激活层，代替单一非线性激活层，增加了判别能力。 ②减少了网络参数。 ③减少了计算量 在《Rethinking the Inception Archite 阅读全文
摘要：
目录 第一层卷积换为分离卷积 一些层的卷积核的个数发生了变化 多个小卷积核代替大卷积核 一些最大值池化换为了平均值池化 完整代码 参考资料 第一层卷积换为分离卷积 net = slim.separable_conv2d( inputs, depth(64), [7, 7], depth_multip 阅读全文
摘要：
目录 举例 单个张量与多个卷积核的分离卷积 参考资料 举例 分离卷积就是先在深度上分别卷积，然后再进行卷积，对应代码为： import tensorflow as tf # [batch, in_height, in_width, in_channels] input =tf.reshape(tf. 阅读全文
摘要：
目录 举例 单个张量与多个卷积核在深度上分别卷积 参考资料 举例 如下张量x和卷积核K进行depthwise_conv2d卷积 结果为： depthwise_conv2d和conv2d的不同之处在于conv2d在每一深度上卷积，然后求和，depthwise_conv2d没有求和这一步，对应代码为： 阅读全文
摘要：
目录 直接定义的缺点 简易定义的方式 参考资料 直接定义的缺点 在tensorflow中假设有一批输入为： 其定义如下： tf.constant([ [ [ [3, 1, -3], [1, -1, 7] ], [ [-2, 2, -5], [2, 7, 3] ] ], [ [ [-1, 3, 1], 阅读全文