深度学习技术框架

卷积神经网络 CNN
一、卷积神经网络（传统CNN网络结构）
层次结构
数据处理
训练算法
优缺点
二、正则化与Dropout
三、CNN典型的结构与训练方式
四、数据增强
五、CNN经典骨架网络结构
六、CNN迁移学习
普通神经网络-缺点
卷积神经网络
卷积神经网络层级结构
卷积神经网络-主要层次
卷积神经网络-input layer
人大脑识别图片过程
人大脑识别图片过程-CONV Layer
卷积神经网络-统计学原理
卷积神经网络-滤波器工作原理理解
卷积神经网络-CONV Layer padding：valid，以及stride
卷积神经网络-CONV Layer stride
卷积神经网络-CONV Layer padding：same
卷积神经网络-CONV Layer 特征图尺寸
卷积神经网络-CONV Layer 输出shape
卷积神经网络-CONV Layer
卷积神经网络-激活函数
卷积神经网络-ReLU Layer
卷积神经网络-ELU
卷积神经网络-激活函数建议
卷积神经网络-Pooling Layer
Pooling Layer作用
卷积神经网络-CNN结构总结
卷积神经网络-Batch Normalization Layer
批归一化BN-缩放和位移
批归一化BN原理-平滑了损失函数超平面
批归一化作用
卷积神经卷积神经网络可视化理解
卷积神经网络优缺点
卷积神经网络-参数初始化
卷积神经网络过拟合
卷积神经网络正则化和Dropout
卷积神经网络训练算法
池化层误差反向传播
数据增强
梯度下降
Adam-自适应学习率
深度学习超参数
深度学习训练过程
卷积神经网络-经典网络结构
卷积神经网络典型CNN-LeNet
CNN-LeNet5解析
卷积神经网络典型CNN-AlexNet
AlexNet-LRN归一化
卷积神经网络典型CNN-ZF Net
卷积神经网络典型CNN-GoogleNet
卷积神经网络典型CNN-GoogleNet v1
Inception结构
Inception-v1结构改进
CNN-GoogleNet-V1
NIN模型
Inception-v2结构改进
Inception-v2结构图
Inception-v3改进
Inception-v4图
v4-inceptionA B C
inception-v4缩减模块
inception-ResNet-V1图
inception-ResNet-v1残差结构A和B C
inception-ResNet-v1缩减模块
卷积神经网络典型CNN-ResNet
两种identity shortcut connection方式
ResNet--identity shortcut connection
残差容易学习的数学解释
残差容易学习的数学解释
ResNet和vgg的对比和对比结果
ResNet-bottleneck优化
ResNet模型结构图
resnet成熟的计算-有权重的才算1层
resnet-50模型代码图
shortcut connection
ResNet结构
CNN--ResNext
CNN-ResNext-cardinality
CNN-ResNext-cardinality三种‘等价’结构
CNN-ResNext模型图
卷积神经网络CNN性能演进历程-误分类率
卷积神经网络典型CNN-DenseNet
卷积神经网络CNN- shake shake
卷积神经网络典型CNN-SeNet
CNN-SeNet-挤压
CNN-SeNet-二激励
CNN-SeNet-三特征重标定
CNN-SeNet-使用2个FC的原因
SeNet-两种实现方式（1*1Conv or FC）
卷积神经网络典型CNN-SeNet模型图
卷积神经网络典型CNN-MobileNet-V1
MobileNet-V1计算量计算
卷积神经网络MobileNet-V1
卷积神经网络典型CNN-MobileNet-V2
CNN-MobileNet-V2--inverted residual block
CNN-MobileNet-V2
CNN-MobileNet-V2模型图
CNN-MobileNet-V3
CNN-MobileNet-V3--新激活函数
CNN-MobileNet-V3--模型图
卷积神经网络典型CNN-ShuffleNet
卷积神经网络典型CNN-ShuffleNet V2
CNN-ShuffleNet V2
迁移学习
迁移学习任务描述
tensfer Learning - Overview
Model Fine-tuning
Layer Transfer
Layer Transfer-Image
迁移学习
Multitask Learning
Multitask Learning-Multilingual
Task description
Domain-adversarial training
Multi-GPU图
CNN网络案例

RNN
课程内容
一、递归神经网络(RNN)
二、RNN反向传播
三、Word2vec
四、双向RNN
五、LSTM
六、RNN超参数
什么是递归神经网络
递归神经网络RNN-应用场景
神经网络之结构
递归神经王楼RNN-结构
循环神经网络RNN-结构
递归神经网络RNN正向传播阶段
RNN展开模型
举例-RNN是如何工作的？
RNN
递归神经网络RNN正向传播阶段
RNN-反向传播
回顾普通反向传播
基于时间的反向传播-
Vanilla RNN问题
递归神经网络RNN反向传播阶段
word2Vec
循环神经网络RNN-Bidirectional RNN
循环神经网络RNN-Deep（Bidirectional） RNN
LSTM-长短时记忆
递归神经网络变形之LSTM
递归神经网络变形之LSTM-学习门
递归神经网络变形之LSTM-记忆门
递归神经网络变形之LSTM-使用门
递归神经网络变形之变种
RNN调参-学习率
RNN调参-minibatch
RNN调参-epochs
RNN超参数

GANS生成对抗网络
课程内容
1、什么是生成式对抗网络
2、生成式对抗网络应用场景
3、Gans原理
4、Gans架构
5、DCGANS
什么是生成式对抗网络
Gans应用
生成式对抗网络GAN应用场景
Gans运作原理
博弈
前向传播阶段
判别模型的损失函数
生成模型的损失函数
gans网络架构核心 Vanilla-gans
生成式对抗神经网络GAN-结构
怎么定义损失
详细实现过程
例子与训练
Gans网络架构核心 vanilla-gans
算法流程图
训练细节
noise输入
GANS总结
DCGAN
DCGANS网络架构
生成器-G
辨识器-D
GANS项目