摘要：
pip install chardet 执行 import chardet f = open('a.doc',r) data = f.read() print chardet.detect(data) 结果 {'confidence': 0.64465744, 'encoding': 'utf-8' 阅读全文
摘要：
PyTorch学习率调整策略通过torch.optim.lr_scheduler接口实现。PyTorch提供的学习率调整策略分为三大类，分别是 a. 有序调整：等间隔调整(Step)，按需调整学习率(MultiStep)，指数衰减调整(Exponential)和 余弦退火CosineAnnealin 阅读全文
摘要：
weight_decay防止过拟合的参数,使用方式:1 样本越多,该值越小2 模型参数越多,该值越大一般建议值:weight_decay: 0.0005 lr_mult,decay_mult关于偏置与参数使用不同的学习率与权重衰减项:1 偏置的学习率一般为参数的两倍比如一个卷积,有偏置的话,其学习率 阅读全文
摘要：
Batch Normalization 学习笔记 原文地址：http://blog.csdn.net/hjimce/article/details/50866313 作者：hjimce 一、背景意义 本篇博文主要讲解2015年深度学习领域，非常值得学习的一篇文献：《Batch Normalizati 阅读全文
摘要：
白化（预处理步骤）【转】 介绍 我们已经了解了如何使用PCA降低数据维度。在一些算法中还需要一个与之相关的预处理步骤，这个预处理过程称为白化。举例来说，假设训练数据是图像，由于图像中相邻像素之间具有很强的相关性，所以用于训练时输入是冗余的。白化的目的就是降低输入的冗余性；更正式的说，我们希望通过白化 阅读全文
摘要：
torch.optim 构建 为每个参数单独设置选项 进行单次优化 optimizer.step（） optimizer.step(closure) torch.optim是实现各种优化算法的包。最常用的方法都已经支持，接口很常规，所以以后也可以很容易地集成更复杂的方法。 如何使用optimizer 阅读全文
摘要：
一、简化前馈网络LeNet 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 import torch as t class LeNet(t.nn.Module): def __in 阅读全文
摘要：
关于优化函数的调整拆下包：https://ptorch.com/docs/1/optim class torch.optim.Optimizer(params, defaults)所有优化的基类. 参数： params (iterable) —— 可迭代的Variable 或者 dict。指定应优化 阅读全文
摘要：
概念：Adam 是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重。Adam 最开始是由 OpenAI 的 Diederik Kingma 和多伦多大学的 Jimmy Ba 在提交到 2015 年 ICLR 论文（Adam: A Method for Stoch 阅读全文
摘要：
微调 https://juejin.im/entry/5983115f6fb9a03c50227fd4 深度学习最常用的算法:Adam优化算法 阅读 15278 收藏 7 2017-08-03 阅读 15278 收藏 7 2017-08-03 原文链接：dataunion.org 从带宽扩展到丢包隐 阅读全文