2020 年 9月随笔档案 - Picassooo

把数据和模型迁移到GPU: .cuda()方法和.to(device)方法

摘要：把数据从CPU迁移到GPU时，可以用.cuda()方法，也可以用.to(device)方法。示例如下。 .cuda()方法 import torch import time t = time.time() b = torch.rand([1024, 1024, 10]) b = b.cuda() p 阅读全文

posted @ 2020-09-29 14:57 Picassooo 阅读(10534) 评论(7) 推荐(2) 编辑

pytorch反向传播，detach()，叶子张量，inplace操作，动态图，求导

摘要：参考一浅谈 PyTorch 中的 tensor 及使用该博文分为以下6个部分： tensor.requires_grad torch.no_grad() 反向传播及网络的更新 tensor.detach() CPU and GPU tensor.item() torch.detach()和tor 阅读全文

posted @ 2020-09-29 11:04 Picassooo 阅读(2700) 评论(0) 推荐(1) 编辑

转：一个关于显卡利用率的问题

摘要：一个关于显卡利用率的问题阅读全文

posted @ 2020-09-27 17:25 Picassooo 阅读(195) 评论(0) 推荐(0) 编辑

转：解决Python print end 一行输出不显示的问题

摘要：解决Python print end 一行输出不显示的问题阅读全文

posted @ 2020-09-26 21:57 Picassooo 阅读(500) 评论(0) 推荐(0) 编辑

PyTorch查看模型和数据是否在GPU上

摘要：模型和数据可以在CPU和GPU上来回迁移，怎么判断模型和数据在哪里呢？ import torch import torch.nn as nn # 判断模型是在CPU还是GPU上 model = nn.LSTM(input_size=10, hidden_size=4, num_layers=1, b 阅读全文

posted @ 2020-09-26 21:25 Picassooo 阅读(33750) 评论(0) 推荐(2) 编辑

python numpy 生成一个服从多元正态分布的数组

摘要：标准正态分布的概率密度公式正态分布概率密度公式多元正态分布的概率密度公式上式为 x 服从 k 元正态分布，x 为 k 维向量；|Σ| 代表协方差矩阵的行列式。二维正态分布概率密度函数为钟形曲面，等高线是椭圆线族，并且二维正态分布的两个边缘分布都是一维正态分布，如图 numpy生成一个服从多元阅读全文

posted @ 2020-09-26 16:20 Picassooo 阅读(7716) 评论(2) 推荐(1) 编辑

转：WAE-GAN和WAE-MMD的PyTorch实现

摘要：WAE-GAN和WAE-MMD的PyTorch实现阅读全文

posted @ 2020-09-23 22:37 Picassooo 阅读(744) 评论(0) 推荐(0) 编辑

Unpooling反池化, Deconvolution反卷积，转置卷积deconv

摘要：unpooling (摘自https://www.bilibili.com/video/av15889450/?p=33，第30分钟) unpooling有很多种方法，其中一种如下图： Deconvolution (摘自https://www.bilibili.com/video/av1588945 阅读全文

posted @ 2020-09-19 20:45 Picassooo 阅读(699) 评论(0) 推荐(0) 编辑

转：机器学习“判别模型”和“生成模型”有什么区别？

摘要：李宏毅课程 classification 1，视频的19:47处开始有讲为什么叫生成模型，生成模型一般都需要先假设训练数据服从某种概率分布。李宏毅课程 logistic regression，视频的42:07处有讲判别模型和生成模型的区别，另外，视频的31:24处也有到，可参考视频前面的内容加以阅读全文

posted @ 2020-09-19 16:56 Picassooo 阅读(362) 评论(0) 推荐(0) 编辑

python的执行过程

摘要：参考一：python的执行过程总结参考二：说说Python程序的执行过程 Java首先是通过编译器编译成字节码文件，然后在运行时通过解释器给解释成机器文件。所以我们说Java是一种先编译后解释的语言。其实Python和Java一样，也是一门基于虚拟机的语言，当我们在命令行中输入python hel 阅读全文

posted @ 2020-09-16 21:06 Picassooo 阅读(592) 评论(0) 推荐(0) 编辑

机器学习和深度学习摘抄

摘要：1.

ℓ_{j o i n t} = ℓ_{e l e} + λ_{a d v} ℓ_{a d v}

$\ell_{joint} = \ell_{ele} + \lambda_{adv} \ell_{adv}$ 其中

ℓ_{e l e}

$\ell_{ele}$ 是逐元素的重建损失，

ℓ_{a d v}

$\ell_{adv}$ 是对抗损失，

λ_{a d v}

$\lambda_{adv}$ 用于平衡二者。我们用修复序列与原始序列之间的

L_{2}

$L_2$ 阅读全文

posted @ 2020-09-15 10:38 Picassooo 阅读(181) 评论(0) 推荐(0) 编辑

转：sqrt()可能会使神经网络loss变为NaN

摘要：pytorch loss 出现nan，原因之一，计算图中存在torch.sqrt loss突然变为nan？你可能踩了sqrt()的坑阅读全文

posted @ 2020-09-12 17:29 Picassooo 阅读(591) 评论(0) 推荐(0) 编辑

转：python assert 断言基本用法

摘要：python assert 断言基本用法阅读全文

posted @ 2020-09-10 16:06 Picassooo 阅读(116) 评论(0) 推荐(0) 编辑

矩阵范数总结

摘要：阅读全文

posted @ 2020-09-09 17:07 Picassooo 阅读(277) 评论(0) 推荐(0) 编辑

转：Numpy扩充矩阵维度(np.expand_dims, np.newaxis)和删除维度(np.squeeze)的方法

摘要：Numpy扩充矩阵维度(np.expand_dims, np.newaxis)和删除维度(np.squeeze)的方法阅读全文

posted @ 2020-09-09 13:10 Picassooo 阅读(1693) 评论(0) 推荐(0) 编辑

PyTorch LSTM，batch_first=True对初始化h0和c0的影响

摘要：batch_first=True会对LSTM的输入输出的维度顺序有影响，但是对初始化h0和c0的维度顺序没有影响，也就是说，不管batch_first=True还是False，h0和c0的维度顺序都是：关于LSTM的输入输出，可参考这篇博客。阅读全文

posted @ 2020-09-09 09:45 Picassooo 阅读(2059) 评论(0) 推荐(0) 编辑

矩阵F范数的平方转化为矩阵的迹

摘要：矩阵Frobenius范数的定义如下：所以矩阵F范数的平方可以转化为矩阵的内积(内积的定义可参考这篇文章)，再转化为矩阵的迹，即我们经常遇到需对矩阵F范数的平方求导的情况，根据上式，可转化为对矩阵的迹的求导了。阅读全文

posted @ 2020-09-08 21:19 Picassooo 阅读(9037) 评论(0) 推荐(1) 编辑

Python自带的random库，numpy的随机库，torch的随机函数

摘要：Python自带的random库例如： Python产生一个数值范围内的不重复的随机数，可以使用random模块中的random.sample函数。例如从0~99中，随机取10个不重复的数： random.sample(range(100), 10) numpy的random库 np.random 阅读全文

posted @ 2020-09-08 17:13 Picassooo 阅读(4533) 评论(0) 推荐(1) 编辑

转：sklearn中的高斯混合模型GMM

摘要：sklearn中的高斯混合模型GMM sklearn GMM模型介绍阅读全文

posted @ 2020-09-07 21:44 Picassooo 阅读(1505) 评论(0) 推荐(0) 编辑

转：sklearn中PCA降维的使用方法

摘要：sklearn中PCA降维的使用方法阅读全文

posted @ 2020-09-07 21:42 Picassooo 阅读(289) 评论(0) 推荐(0) 编辑

sklearn KMeans在训练集上训练，在预测集上预测

摘要：一般在有监督训练中，我们很自然地会用如下模式去预测测试集的分类：(以svm为例) svm.fit(x_train, y_train) y_pred=svm.predict(x_test) 那么无监督训练中是否也可以在一个数据集上训练，然后用训练好的模型直接调用predict()函数在另一个数据集上进阅读全文

posted @ 2020-09-07 12:00 Picassooo 阅读(3850) 评论(0) 推荐(0) 编辑

使用sklearn构建模型的通用模板和预估对象

摘要：1. 通用模板参考：使用sklearn构建模型的通用模板该文章详细介绍了数据集的加载、训练集测试集的划分、基本算法模型模板、有交叉验证的算法模型模板、可调参的算法模型模板等，有不错的参考价值。例如，下图是该文章的基本算法模型模板： 2. 预估对象预估对象是指上图中的"3、模型名"。 sklea 阅读全文

posted @ 2020-09-07 10:33 Picassooo 阅读(351) 评论(0) 推荐(0) 编辑

转: Latex安装和基本使用（Mac+MikTex+TexStudio）

摘要：Latex安装和基本使用（Mac+MikTex+TexStudio）阅读全文

posted @ 2020-09-06 12:27 Picassooo 阅读(464) 评论(0) 推荐(0) 编辑

条件概率，全概率公式，贝叶斯公式，朴素贝叶斯

摘要：本文摘自黄清龙等编著的《概率论与数理统计》条件概率全概率公式贝叶斯公式朴素贝叶斯我们以一个例子来阐述朴素贝叶斯思想。例子来自朴素贝叶斯分类:原理。假设根据以前的经验获得如下的数据。然后给你一个新的数据：身高“高”、体重“中”，鞋码“中”，请问这个人是男还是女？判断是男还是女，是分类问题阅读全文

posted @ 2020-09-06 09:59 Picassooo 阅读(917) 评论(0) 推荐(0) 编辑

使用screen进行任务管理

摘要：(截图摘自https://mp.weixin.qq.com/s/jQRodKT5nSYYdrg1bWR4-Q， https://www.bilibili.com/video/BV15E411u7tV) 进入screen窗口后，想暂时退出(等会还想连接这个screen窗口)可以用命令：crtl+a+d 阅读全文

posted @ 2020-09-03 22:03 Picassooo 阅读(401) 评论(0) 推荐(0) 编辑

适定、欠定、超定方程；欠完备、完备、超完备字典

摘要：本文摘自张贤达《矩阵分析与应用》第一章第6、12小节。适定、欠定、超定方程欠完备字典、完备字典、超完备字典阅读全文

posted @ 2020-09-02 16:31 Picassooo 阅读(1745) 评论(0) 推荐(0) 编辑

转：Contrastive Loss (对比损失)

摘要：Contrastive Loss (对比损失) Contrastive Loss 对比损失函数及梯度的计算阅读全文

posted @ 2020-09-01 21:38 Picassooo 阅读(895) 评论(0) 推荐(0) 编辑

转：Siamese network 孪生神经网络

摘要：Siamese network 孪生神经网络 PyTorch代码链接阅读全文

posted @ 2020-09-01 20:51 Picassooo 阅读(189) 评论(0) 推荐(0) 编辑