摘要：
常用激活函数 定义 在神经网络中，输入经过权值加权计算并求和之后，需要经过一个函数的作用，这个函数就是激活函数（Activation Function）。 作用 首先我们需要知道，如果在神经网络中不引入激活函数，那么在该网络中，每一层的输出都是上一层输入的线性函数，无论最终的神经网络有多少层 阅读全文
摘要：
前言 DP 与 DDP 均为GPU并行手段，目的是加快训练。 DP (Data parallelism) 如上图所示：DP其实只开了一个线程，并行算法实在多个设备上都拷贝了一份完整的模型参数，彼此之间可以独立计算。所以叫数据并行 前向传播时，GPU-1 会首先把所有的数据拿到，然后分发给其他的G 阅读全文