cola_cola

摘要： 一、正则化与偏差-方差分解 Regularization：减少方差的策略 误差可分解为：偏差，方差与噪声之和，即误差 = 偏差 + 方差 + 噪声之和 偏差：度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力 方差：度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画 阅读全文

摘要： 一、hook函数概念 hook函数机制：不改变主体，实现额外功能，像一个挂件，挂钩，hook 1、torch.Tensor.register_hook(hook) 功能：注册一个反向传播hook函数 仅一个输入参数，为张量的梯度 计算图与梯度求导 2、torch.nn.Module.register 阅读全文

摘要： 一、TensorBoard TensorBoard：TensorFlow中强大的可视化工具 SummaryWriter 功能：提供创建event file的高级接口 主要属性： log_dir：event file输出文件夹 comment：不指定log_dir时，文件夹后缀 filename_su 阅读全文

摘要： 一、PyTorch的六种学习率调整策略 class_LRScheduler 主要属性： optimizer：关联的优化器 last_epoch：记录epoch数 base_lrs：记录初始学习率 主要方法： step()：更新下一个epoch的学习率 get_lr()：虚函数，计算下一个epoch的 阅读全文

摘要： 1、什么是优化器？ pytorch的优化器：管理并更新模型中可学习的参数的值，使得模型输出更接近真实标签 导数： 方向导数 梯度 2、optimizer的属性 defaults：优化器超参数 state：参数的缓存，如momentum的缓存 params_groups：管理的参数组 _step_co 阅读全文

摘要： 一、损失函数概念 损失函数：衡量模型输出与真实标签的差异 损失函数Loss Function ：Loss = f（y^ , y） 代价函数Cost Function：Cost = 1/N ∑ f (y^ , y) 目标函数Objective Function：Obj = Cost + Regular 阅读全文

摘要： 一、梯度消失与爆炸 二、Xavier方法与Kaiming方法 1、Xavier初始化 方差一致性：保持数据尺度维持在恰当范围，通常方差为1 激活函数：饱和函数，如Sigmoid，Tanh 三、常用初始化方法 10种： Xavier均匀分布、正态分布 Kaiming均匀分布、正态分布 均匀分布、正态分 阅读全文

摘要： 一、1d/2d/3d卷积 卷积运算：卷积核在输入信号（图像）上滑动，相应位置上进行乘加 卷积核：又称为滤波器，过滤器，可认为是某种模式，某种特征。 卷积过程类似于用一个模板去图像上寻找与他相似的区域，与卷积核模式越相似，激活值越高，从而实现特征提取 AlexNet卷积核可视化，发现卷积核学习到的是边 阅读全文

摘要： 一、网络模型创建步骤 数据->模型->损失函数->优化器 1、模型创建 (1)构建子模块->卷积层，池化层，激活函数层 (2)拼接子模块->LeNet，AlexNet,ResNet等 2、权值初始化->Xavier，Kaiming，均匀分布，正态分布 二、nn.Module属性 torch.nn n 阅读全文

摘要： 1、概述 ado.net提供了丰富的数据库操作，这些操作可以分为三个步骤： 第一，使用SqlConnection对象连接数据库； 第二，建立SqlCommand对象，负责SQL语句的执行和存储过程的调用； 第三，对SQL或存储过程执行后返回的“结果”进行操作。 对返回“结果”的操作可以分为两类： 一 阅读全文