摘要：
torch.max() torch.max(input, dim, keepdim=False) → output tensors (max, max_indices) 输入参数： input = 输入tensor dim = 求最大值的维度 keepdim = 是否保持原维度大小输出 输出： ma 阅读全文
摘要：
首先单位是字节，比如 builder.max_workspace_size = 1<< 30 就是 2^30 bytes 即 1 GB。 它的作用是给出模型中任一层能使用的内存上限。运行时，每一层需要多少内存系统分配多少，并不是每次都分 1 GB，但不会超过 1 GB。 One particular 阅读全文
摘要：
原理 训练神经网络的一个重要 trick 是 warm up，它被广泛应用在各种模型的训练中。它的命名大概是类比了我们参加体育锻炼前的热身运动。warm up 通过操作训练初始阶段的 learning rate，可以使模型参数更快地收敛，并达到更高的精度。 众所周知，learning rate 如果 阅读全文