2020 年 6月随笔档案 - 那抹阳光1994

记MongoDB的安装

摘要：在我的win10系统下可以正常安装MongoDB官网的msi文件，但为我的另一台安装时却报告以下错误： service 'mongodb server' failed to start. verify that you have sufficient privileges to start syst 阅读全文

posted @ 2020-06-27 15:48 那抹阳光1994 阅读(149) 评论(0) 推荐(0) 编辑

Python格式化输出指定宽度及占位符

摘要：1 '{:08}'.format(11) 2 3 4 5 mat = "{:020}\t{:028}\t{:032}" 6 print(mat.format(1,2, 3)) 冒号后面指定输出宽度，：后的0表示用0占位。 out: 1 '00000011' 2 3 4 Name:Aviad Age: 阅读全文

posted @ 2020-06-25 19:00 那抹阳光1994 阅读(6919) 评论(0) 推荐(0) 编辑

LMDB数据库加速Pytorch文件读取速度

摘要：问题背景训练深度学习模型往往需要大规模的数据集，这些数据集往往无法直接一次性加载到计算机的内存中，通常需要分批加载。数据的I/O很可能成为训练深度网络模型的瓶颈，因此数据的读取速度对于大规模的数据集（几十G甚至上千G）是非常关键的。例如：https://discuss.pytorch.org/t/ 阅读全文

posted @ 2020-06-25 18:28 那抹阳光1994 阅读(6068) 评论(1) 推荐(0) 编辑

torch.tensor默认requires_grad=False

摘要：torch.tensor(data, dtype=None, device=None, requires_grad=False, pin_memory=False) → Tensor torch.zeros(*size, out=None, dtype=None, layout=torch.stri 阅读全文

posted @ 2020-06-23 17:00 那抹阳光1994 阅读(3663) 评论(0) 推荐(0) 编辑

MATLAB保存char或字符串数组至txt

摘要：a = char('100_1', '100_2'); dlmwrite('D:\desktop\a.txt', a, 'delimiter', '', 'newline', 'pc'); >>> 100_1 100_2 阅读全文

posted @ 2020-06-23 10:05 那抹阳光1994 阅读(5032) 评论(0) 推荐(0) 编辑

matlab 遍历结构体struc的成员

摘要：MATLAB中专门用于对结构数组的操作的函数并不多，通过 help datatypes获取数据类型列表，可以看到其中的结构数据类型的有关的函数，主要如表4.3.1所示。表4.3.1 结构数组的操作函数函数名功能描述 deal 把输入处理成输出 fieldnames 获取结构的字段名 getfiel 阅读全文

posted @ 2020-06-22 22:08 那抹阳光1994 阅读(3832) 评论(0) 推荐(0) 编辑

MATLAB信号减采样

摘要：在不影响计算结果精度的前提下，为了降低计算成本，通常对信号进行减采样。减采样之后的样本仍需满足大于奈奎斯特频率，以避免产生混叠。为了避免发生混叠，通常应在减采样前施加一个抗混叠低通滤波器。 https://cnx.org/contents/p8E-T146@5/Decimation-and-Do 阅读全文

posted @ 2020-06-22 13:11 那抹阳光1994 阅读(5913) 评论(1) 推荐(0) 编辑

Pytorch中的buffer

摘要：Pytorch模型中的parameter与buffer https://zhuanlan.zhihu.com/p/89442276 阅读全文

posted @ 2020-06-17 18:31 那抹阳光1994 阅读(853) 评论(0) 推荐(1) 编辑

Python3 中的map

摘要：最近看一段Python2写的代码，有一句： torch.FloatTensor(map(lambda x: x['values'], data)) Python3下运行后报错： TypeError: new(): data must be a sequence (got map) 我的data明明是阅读全文

posted @ 2020-06-16 21:42 那抹阳光1994 阅读(1941) 评论(0) 推荐(0) 编辑

Pytorch加载变长度序列数据

摘要：在处理序列数据集时，有时会遇到变长度的样本。此时因为尺寸不一致，无法直接利用pytorch中dataloader的默认加载方式（沿着批维度直接Stack）。处理这种数据集，一种办法是可以事先记录每个样本的长度，并把所有的数据集样本补全至最长的样本长度，这样所有样本长度一致，可以直接加载。但是会有一阅读全文

posted @ 2020-06-16 16:39 那抹阳光1994 阅读(4096) 评论(0) 推荐(1) 编辑

pytorch中如何处理RNN输入变长序列padding

摘要：一、为什么RNN需要处理变长输入假设我们有情感分析的例子，对每句话进行一个感情级别的分类，主体流程大概是下图所示：思路比较简单，但是当我们进行batch个训练数据一起计算的时候，我们会遇到多个训练样例长度不同的情况，这样我们就会很自然的进行padding，将短句子padding为跟最长的句子一样阅读全文

posted @ 2020-06-16 16:28 那抹阳光1994 阅读(1383) 评论(0) 推荐(0) 编辑

pytorch中LSTM的细节分析理解（转载）

摘要：虽然看了一些很好的blog了解了LSTM的内部机制，但对框架中的lstm输入输出和各个参数还是没有一个清晰的认识，今天打算彻底把理论和实现联系起来，再分析一下pytorch中的LSTM实现。先说理论部分。一个非常有名的blog把原理讲得很清楚，推荐参考。总之就是这些公式：简单来说就是，LSTM一阅读全文

posted @ 2020-06-16 15:02 那抹阳光1994 阅读(2700) 评论(0) 推荐(0) 编辑

利用Pytorch DataLoader中的collate_fn自定义批加载方式

摘要：Pytorch DataLoader中的collate_fn允许用户灵活的定义批样本的加载方式，例如加载变尺寸的张量。 collate_fn (callable, optional) – merges a list of samples to form a mini-batch of Tensor( 阅读全文

posted @ 2020-06-15 22:31 那抹阳光1994 阅读(1283) 评论(0) 推荐(0) 编辑

sklearn之分类模型混淆矩阵和分类报告（转载）

摘要：机器学习中的分类问题评估模型性能时，往往需要计算各种评价指标。通过计算混淆矩阵（confusion matrix）可以方便地导出各种指标，例如precision（查准率）、recall（tpr）（查全率、召回）、accuracy、fpr、F1分数、Roc曲线、Auc等。一些常用的分类评价指标计算公阅读全文

posted @ 2020-06-10 18:34 那抹阳光1994 阅读(3453) 评论(0) 推荐(0) 编辑

Pytorch MSELoss

摘要：CLASS torch.nn.MSELoss(size_average=None, reduce=None, reduction='mean') Creates a criterion that measures the mean squared error (squared L2 norm) be 阅读全文

posted @ 2020-06-07 13:50 那抹阳光1994 阅读(1345) 评论(0) 推荐(0) 编辑

pytorch 中的view、reshape、permute、transpose、contiguous

摘要：pytorch 中的view、reshape、permute、transpose、contiguous 1、 contiguous https://stackoverflow.com/questions/48915810/pytorch-contiguous https://blog.csdn.ne 阅读全文

posted @ 2020-06-05 20:34 那抹阳光1994 阅读(1072) 评论(0) 推荐(0) 编辑

pytorch教程之nn.Sequential类详解——使用Sequential类来自定义顺序连接模型

摘要：前言：类似于keras中的序贯模型，当一个模型较简单的时候，我们可以使用torch.nn.Sequential类来实现简单的顺序连接模型。这个模型也是继承自Module类的，关于这个类，后面的文章会详细介绍。一、关于Sequential类的简介先来看一下它的定义吧，在之前，我们首先需要明确一个特别阅读全文

posted @ 2020-06-05 16:38 那抹阳光1994 阅读(4225) 评论(0) 推荐(2) 编辑

Pytorch checkpoint

摘要：checkpoint一种用时间换空间的策略 torch.utils.checkpoint.checkpoint(function, *args, **kwargs) 为模型或模型的一部分设置Checkpoint 。检查点用计算换内存（节省内存）。检查点部分并不保存中间激活值，而是在反向传播时重新阅读全文

posted @ 2020-06-05 14:48 那抹阳光1994 阅读(5801) 评论(0) 推荐(1) 编辑

Pytorch出现 raise NotImplementedError

摘要：问题所在：def forward多了一个Tap位，它与def __init__并不对齐。解决方案：删除def forward多出的Tap位，将其与def __init__对齐即可。果然，我还是一个不落的犯了所有奇葩错误。。。[Dog] 阅读全文

posted @ 2020-06-03 20:50 那抹阳光1994 阅读(1274) 评论(0) 推荐(1) 编辑

pytorch nn.Module类—使用Module类来自定义模型

摘要：前言 pytorch中对于一般的序列模型，直接使用torch.nn.Sequential类及可以实现，这点类似于keras，但是更多的时候面对复杂的模型，比如：多输入多输出、多分支模型、跨层连接模型、带有自定义层的模型等，就需要自己来定义一个模型了。本文将详细说明如何让使用Mudule类来自定义一个阅读全文

posted @ 2020-06-03 20:47 那抹阳光1994 阅读(3575) 评论(0) 推荐(0) 编辑

pytorch学习

摘要：简洁易懂的博客总结来自博客专栏：https://blog.csdn.net/dss_dssssd/column/info/29714 pytorch系列 1 python class 中的__call__方法 https://blog.csdn.net/dss_dssssd/article/de 阅读全文

posted @ 2020-06-03 14:37 那抹阳光1994 阅读(260) 评论(0) 推荐(0) 编辑

Pytorch中的nn.Sequential

摘要：A sequential container. Modules will be added to it in the order they are passed in the constructor. Alternatively, an ordered dict of modules can als 阅读全文

posted @ 2020-06-03 14:13 那抹阳光1994 阅读(2185) 评论(0) 推荐(0) 编辑

Python中的有序字典--OrderedDict

摘要：Python拥有一些内置的数据类型，比如str, int, list, tuple, dict等， collections模块在这些内置数据类型的基础上，提供了几个额外的数据类型： namedtuple(): 生成可以使用名字来访问元素内容的tuple子类 deque: 双端队列，可以快速的从另外一阅读全文

posted @ 2020-06-03 13:58 那抹阳光1994 阅读(1619) 评论(0) 推荐(0) 编辑

计算wasserstein距离

摘要：import numpy as np from scipy.stats import wasserstein_distance p = [0,5,9] q = [2,5,7] w = wasserstein_distance(q,p) print(w) 阅读全文

posted @ 2020-06-02 21:17 那抹阳光1994 阅读(2254) 评论(0) 推荐(0) 编辑

那抹阳光1994

06 2020 档案