摘要：
一、正则化与偏差-方差分解 Regularization：减少方差的策略 误差可分解为：偏差，方差与噪声之和，即误差 = 偏差 + 方差 + 噪声之和 偏差：度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力 方差：度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画 阅读全文
摘要：
一、hook函数概念 hook函数机制：不改变主体，实现额外功能，像一个挂件，挂钩，hook 1、torch.Tensor.register_hook(hook) 功能：注册一个反向传播hook函数 仅一个输入参数，为张量的梯度 计算图与梯度求导 2、torch.nn.Module.register 阅读全文
摘要：
一、TensorBoard TensorBoard：TensorFlow中强大的可视化工具 SummaryWriter 功能：提供创建event file的高级接口 主要属性： log_dir：event file输出文件夹 comment：不指定log_dir时，文件夹后缀 filename_su 阅读全文