摘要： ReLU比Sigmoid效果好的理由： https://blog.csdn.net/ljyljyok/article/details/88394212 Relu的gradient大多数情况下是常数，有助于解决深层网络的收敛问题。Relu的另一个优势是在生物上的合理性，它是单边的，相比sigmoid和 阅读全文