01 2025 档案
摘要：在深度学习中，归一化操作有BN，LN，GN，IN这几种形式，下表给出了各种方法的主要区别： 归一化方法 计算维度 固定维度 适用场景 特点 BatchNorm 沿 (N, H, W) 对每个通道独立计算 Channel 卷积神经网络 依赖批次大小，训练和推理行为不同 LayerNorm 沿 (C,
阅读全文
摘要：onnx对于einsum算子是在opset12之后才支持的，但是有些芯片对于onnx量化的支持只到opset11版本，遇到这种情况可以使用matmul替换einsum。 流程通常是将tensor先view成三维，然后将第一个tensor待消掉维度permute到最后一维，第二个tensor待消掉的维
阅读全文
摘要：将onnx模型参数从fp32转为fp16，可以减少一半模型大小。 import onnx from onnxconverter_common import float16 model = onnx.load("fp32.onnx") model_fp16 = float16.convert_floa
阅读全文
摘要：下面实现了深度学习中的几种优化器，包括SGD，Momentum， Nesterov，AdaGrad，RMSProp，AdaDelta，Adam和AdamW。 代码如下： import torch import torch.nn as nn from torchvision import transf
阅读全文
