摘要：
以从某文件夹过滤出py文件为例： 法1： import glob import os os.chdir(“./”) for file in glob.glob(“*.py”): print file 法2： for file in os.listdir(“./”): if file.endswith 阅读全文
摘要：
pip install chardet 执行 import chardet f = open('a.doc',r) data = f.read() print chardet.detect(data) 结果 {'confidence': 0.64465744, 'encoding': 'utf-8' 阅读全文
摘要：
PyTorch学习率调整策略通过torch.optim.lr_scheduler接口实现。PyTorch提供的学习率调整策略分为三大类，分别是 a. 有序调整：等间隔调整(Step)，按需调整学习率(MultiStep)，指数衰减调整(Exponential)和 余弦退火CosineAnnealin 阅读全文
摘要：
weight_decay防止过拟合的参数,使用方式:1 样本越多,该值越小2 模型参数越多,该值越大一般建议值:weight_decay: 0.0005 lr_mult,decay_mult关于偏置与参数使用不同的学习率与权重衰减项:1 偏置的学习率一般为参数的两倍比如一个卷积,有偏置的话,其学习率 阅读全文
摘要：
Batch Normalization 学习笔记 原文地址：http://blog.csdn.net/hjimce/article/details/50866313 作者：hjimce 一、背景意义 本篇博文主要讲解2015年深度学习领域，非常值得学习的一篇文献：《Batch Normalizati 阅读全文
摘要：
白化（预处理步骤）【转】 介绍 我们已经了解了如何使用PCA降低数据维度。在一些算法中还需要一个与之相关的预处理步骤，这个预处理过程称为白化。举例来说，假设训练数据是图像，由于图像中相邻像素之间具有很强的相关性，所以用于训练时输入是冗余的。白化的目的就是降低输入的冗余性；更正式的说，我们希望通过白化 阅读全文
摘要：
torch.optim 构建 为每个参数单独设置选项 进行单次优化 optimizer.step（） optimizer.step(closure) torch.optim是实现各种优化算法的包。最常用的方法都已经支持，接口很常规，所以以后也可以很容易地集成更复杂的方法。 如何使用optimizer 阅读全文
摘要：
一、简化前馈网络LeNet 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 import torch as t class LeNet(t.nn.Module): def __in 阅读全文
摘要：
关于优化函数的调整拆下包：https://ptorch.com/docs/1/optim class torch.optim.Optimizer(params, defaults)所有优化的基类. 参数： params (iterable) —— 可迭代的Variable 或者 dict。指定应优化 阅读全文
摘要：
概念：Adam 是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重。Adam 最开始是由 OpenAI 的 Diederik Kingma 和多伦多大学的 Jimmy Ba 在提交到 2015 年 ICLR 论文（Adam: A Method for Stoch 阅读全文
摘要：
微调 https://juejin.im/entry/5983115f6fb9a03c50227fd4 深度学习最常用的算法:Adam优化算法 阅读 15278 收藏 7 2017-08-03 阅读 15278 收藏 7 2017-08-03 原文链接：dataunion.org 从带宽扩展到丢包隐 阅读全文
摘要：
期望的公式扩展 一阶矩就是期望值，换句话说就是平均数(离散随机变量很好理解，连续的可以类比一下)。举例：xy坐标系中，x取大于零的整数，y1, y2, ...,yn 对应x=1, 2,..., n的值，现在我要对y求期望，就是所有y累加除以n，也就是y的均值。 此时y的均值我可以在坐标系中画一条线， 阅读全文
摘要：
这篇博客是在pytorch中基于apex使用混合精度加速的一个偏工程的描述，原理层面的解释并不是这篇博客的目的，不过在参考部分提供了非常有价值的资料，可以进一步研究。 一个关键原则：“仅仅在权重更新的时候使用fp32，耗时的前向和后向运算都使用fp16”。其中的一个技巧是：在反向计算开始前，将dlo 阅读全文
摘要：
文章目录基本介绍BertForTokenClassificationpytorch-crf实验项目参考基本介绍命名实体识别：命名实体识别任务是NLP中的一个基础任务。主要是从一句话中识别出命名实体。比如姚明在NBA打球 从这句话中应该可以识别出姚明(人), NBA(组织)这样两个实体。常见的方法是对 阅读全文
ipykernel_launcher.py: error: unrecognized arguments: -f /Users/apple/Library/Jupyter/runtime/kernel
摘要：
当在jupyter下使用parser.parse_args()出错则改换为parser.parse_known_args()[0]其效用是差不多的，至于为什么出现错误，我也不知道… 阅读全文
摘要：
其他：windows使用nvidia-smi查看gpu信息 为什么将数据转移至GPU的方法叫做.cuda而不是.gpu，就像将数据转移至CPU调用的方法是.cpu？这是因为GPU的编程接口采用CUDA，而目前并不是所有的GPU都支持CUDA，只有部分Nvidia的GPU才支持。PyTorch未来可能 阅读全文
摘要：
https://zhuanlan.zhihu.com/p/46997268 NLP突破性成果 BERT 模型详细解读 章鱼小丸子 不懂算法的产品经理不是好的程序员 关注她 82 人赞了该文章 Google发布的论文《Pre-training of Deep Bidirectional Transf 阅读全文