【PyTorch基础】PReLU

api:

CLASS torch.nn.PReLU(num_parameters=1, init=0.25, device=None, dtype=None)

注意参数和ReLU不一样的；

原理：

PReLU(x)=max(0,x)+a∗min(0,x)

​其中，a是一个学习参数，默认a是对所有通道的，如果参数有通道数，则不同的a是对应不同通道的；

 

参考

1. PReLU_pytorch;

2. 

完