机器学习——层和块

• 一个块可以由许多层组成；一个块可以由许多块组成。

• 块可以包含代码。

• 块负责大量的内部处理，包括参数初始化和反向传播。

• 层和块的顺序连接由Sequential块处理。

 

下面给出一个例子（以pyTorch为例）

?

1 2 3 4 5 6 7 8 9 10 11 12

class NestMLP(nn.Module):     def __init__(self):         super().__init__()         self.net = nn.Sequential(nn.Linear(20, 64), nn.ReLU(),                                  nn.Linear(64, 32), nn.ReLU())         self.linear = nn.Linear(32, 16)       def forward(self, X):         return self.linear(self.net(X))   chimera = nn.Sequential(NestMLP(), nn.Linear(16, 20), FixedHiddenMLP()) chimera(X)

上面的NestMLP类继承了表示块的类，我们定制的__init__函数通过super().__init__() 调用父类的__init__函数， 省去了重复编写模版代码的痛苦。

nn.Sequential定义了一种特殊的Module， 即在PyTorch中表示一个块的类， 它维护了一个由Module组成的有序列表。 注意，两个全连接层都是Linear类的实例， Linear类本身就是Module的子类。