深度学习模型组网

深度学习模型组网

完成数据集的构建后，需要构建网络模型。首先介绍飞桨组网相关的API，主要是paddle.nn下的API介绍，然后介绍动态图下飞桨框架支持的两种组网方式，分别为 Sequential 组网与 SubClass 组网，最后，介绍飞桨框架内置的算法模型。

一、paddle.nn 简介

飞桨框架2.0中，组网相关的API都在paddle.nn目录下，可以通过 Sequential 或 SubClass 的方式构建具体的模型。组网相关的API类别与具体的API列表如下表：

功能	API名称
Conv	Conv1D、Conv2D、Conv3D、Conv1DTranspose、Conv2DTranspose、Conv3DTranspose
Pool	AdaptiveAvgPool1D、AdaptiveAvgPool2D、AdaptiveAvgPool3D、 AdaptiveMaxPool1D、AdaptiveMaxPool2D、AdaptiveMaxPool3D、 AvgPool1D、AvgPool2D、AvgPool3D、MaxPool1D、MaxPool2D、MaxPool3D
Padding	Pad1D、Pad2D、Pad3d
Activation	ELU、GELU、Hardshrink、Hardtanh、HSigmoid、LeakyReLU、LogSigmoid、 LogSoftmax、PReLU、ReLU、ReLU6、SELU、Sigmoid、Softmax、Softplus、 Softshrink、Softsign、Tanh、Tanhshrink
Normlization	BatchNorm、BatchNorm1D、BatchNorm2D、BatchNorm3D、GroupNorm、 InstanceNorm1D、InstanceNorm2D、InstanceNorm3D、LayerNorm、SpectralNorm、 SyncBatchNorm
Recurrent NN	BiRNN、GRU、GRUCell、LSTM、LSTMCell、RNN、RNNCellBase、SimpleRNN、 SimpleRNNCell
Transformer	Transformer、TransformerDecoder、TransformerDecoderLayer、 TransformerEncoder、TransformerEncoderLayer
Dropout	AlphaDropout、Dropout、Dropout2d、Dropout3d
Loss	BCELoss、BCEWithLogitsLoss、CrossEntropyLoss、CTCLoss、KLDivLoss、L1Loss MarginRankingLoss、MSELoss、NLLLoss、SmoothL1Loss

二、Sequential 组网

针对顺序的线性网络结构你可以直接使用Sequential来快速完成组网，可以减少类的定义等代码编写。具体代码如下：

import paddle

# Sequential形式组网

mnist = paddle.nn.Sequential(

    paddle.nn.Flatten(),

    paddle.nn.Linear(784, 512),

    paddle.nn.ReLU(),

    paddle.nn.Dropout(0.2),

    paddle.nn.Linear(512, 10)

)

三、SubClass 组网

针对一些比较复杂的网络结构，就可以使用Layer子类定义的方式来进行模型代码编写，在__init__构造函数中进行组网Layer的声明，在forward中使用声明的Layer变量进行前向计算。子类组网方式也可以实现sublayer的复用，针对相同的layer可以在构造函数中一次性定义，在forward中多次调用。

# Layer类继承方式组网

class Mnist(paddle.nn.Layer):

    def __init__(self):

        super(Mnist, self).__init__()

 

        self.flatten = paddle.nn.Flatten()

        self.linear_1 = paddle.nn.Linear(784, 512)

        self.linear_2 = paddle.nn.Linear(512, 10)

        self.relu = paddle.nn.ReLU()

        self.dropout = paddle.nn.Dropout(0.2)

 

    def forward(self, inputs):

        y = self.flatten(inputs)

        y = self.linear_1(y)

        y = self.relu(y)

        y = self.dropout(y)

        y = self.linear_2(y)

 

        return y

 

mnist_2 = Mnist()

四、飞桨框架内置模型

除了可以通过上述方式组建模型外，还可以使用飞桨框架内置的模型，路径为 paddle.vision.models ，具体列表如下：

print('飞桨框架内置模型：', paddle.vision.models.__all__)

飞桨框架内置模型： ['ResNet', 'resnet18', 'resnet34', 'resnet50', 'resnet101', 'resnet152', 'VGG', 'vgg11', 'vgg13', 'vgg16', 'vgg19', 'MobileNetV1', 'mobilenet_v1', 'MobileNetV2', 'mobilenet_v2', 'LeNet']

使用方式如下：

lenet = paddle.vision.models.LeNet()

你可以通过paddle.summary()方法查看模型的结构与每一层输入输出形状，具体如下：

paddle.summary(lenet, (64, 1, 28, 28))

---------------------------------------------------------------------------

 Layer (type)       Input Shape          Output Shape         Param #

===========================================================================

   Conv2D-1      [[64, 1, 28, 28]]     [64, 6, 28, 28]          60

    ReLU-1       [[64, 6, 28, 28]]     [64, 6, 28, 28]           0

  MaxPool2D-1    [[64, 6, 28, 28]]     [64, 6, 14, 14]           0

   Conv2D-2      [[64, 6, 14, 14]]     [64, 16, 10, 10]        2,416

    ReLU-2       [[64, 16, 10, 10]]    [64, 16, 10, 10]          0

  MaxPool2D-2    [[64, 16, 10, 10]]     [64, 16, 5, 5]           0

   Linear-1         [[64, 400]]           [64, 120]           48,120

   Linear-2         [[64, 120]]            [64, 84]           10,164

   Linear-3          [[64, 84]]            [64, 10]             850

===========================================================================

Total params: 61,610

Trainable params: 61,610

Non-trainable params: 0

---------------------------------------------------------------------------

Input size (MB): 0.19

Forward/backward pass size (MB): 7.03

Params size (MB): 0.24

Estimated Total Size (MB): 7.46

---------------------------------------------------------------------------