10 2021 档案
摘要：为了帮助提高Pytorch的训练效率，英伟达提供了混合精度训练工具Apex。号称能够在不降低性能的情况下，将模型训练的速度提升2-4倍，训练显存消耗减少为之前的一半。该项目开源于：https://github.com/NVIDIA/apex ,文档地址是：https://nvidia.github.
阅读全文
摘要：正则化：凡是可以减少泛化误差而不是减少训练误差的方法都是正则化方法。 在神经网络中参有两类，w叫权重，b叫偏置，w（权重）其实是模型里面未知数的系数，其取值情况决定了模型曲线什么样子，b的取值只会改变模型平移情况，L1L2正则化只针对w进行正则化处理。 L1L2是指L1L2范数，范数理解为把”空间中
阅读全文
