结构化剪枝和非结构化剪枝

非结构化剪枝，对每个参数进行选择性的剪枝，不考虑网络的特定结构或模式。
先训练一个完整的模型，然后再根据设置的剪枝率来选择保留每个矩阵中最重要的参数。简而言之，剪的是参数，而非通道channel和卷积核。

结构化剪枝，是针对整体的网络考虑，不是独立地对每个参数进行剪枝。而是对整个通道channel或者卷积核进行剪枝。去除不必要的channel或者卷积核。
对于循环层中的通道剪枝，我们可以通过衡量每个通道的重要性来确定要剪枝的通道。
重要性可以使用各种度量方法计算，如通道的平均激活值或梯度大小。
根据设定的剪枝率，选择保留重要性较高的通道，而剩下的通道则被剪枝掉。剪枝后的网络将具有更少的通道和参数。