摘要: 常用激活函数 定义 ​ 在神经网络中,输入经过权值加权计算并求和之后,需要经过一个函数的作用,这个函数就是激活函数(Activation Function)。 作用 ​ 首先我们需要知道,如果在神经网络中不引入激活函数,那么在该网络中,每一层的输出都是上一层输入的线性函数,无论最终的神经网络有多少层 阅读全文
posted @ 2023-03-21 21:19 HoroSherry 阅读(147) 评论(0) 推荐(0) 编辑
摘要: 前言 ​ DP 与 DDP 均为GPU并行手段,目的是加快训练。 DP (Data parallelism) 如上图所示:DP其实只开了一个线程,并行算法实在多个设备上都拷贝了一份完整的模型参数,彼此之间可以独立计算。所以叫数据并行 前向传播时,GPU-1 会首先把所有的数据拿到,然后分发给其他的G 阅读全文
posted @ 2023-03-21 11:36 HoroSherry 阅读(542) 评论(0) 推荐(0) 编辑