关于RNN架构的对比
摘要：循环神经网络（RNN）是一种非常强大的序列模型，通常很难训练。 长短期记忆（LSTM）是一种特定的RNN架构，其设计使其易于训练。 虽然LSTM在实践中取得了巨大成功，但它的结构似乎是临时的，因此尚不清楚它是否是最优的，并且其各个组成部分的重要性也不清楚。 在这项工作中，我们旨在确定LSTM体系结构
阅读全文
posted @ 2020-07-29 14:46
07 2020 档案
关于pytorch中inplace运算需要注意的问题
摘要：原文链接：https://blog.csdn.net/qq_36653505/java/article/details/90026373 关于 pytorch inplace operation需要注意的问题（data和detach方法的区别） https://zhuanlan.zhihu.com/
阅读全文
posted @ 2020-07-28 12:11
pytorch 的LSTM batch_first=True 和 False的性能对比
摘要：pytorch 的LSTM batch_first=True 和 False的性能略有区别，不过区别不大。 下面这篇文章试验结论是batch_first= True要比batch_first = False更快。但是我自己跑结论却是相反，batch_first = False更快。 运行多次的结果：
阅读全文
posted @ 2020-07-25 12:34
pytorch中的parameter、variable和buffer
摘要：parameter 官网API 其可以将普通张量转变为模型参数的一部分。Parameters是Tensor的一个子类，当用于Module时具有非常特殊的属性，当其被赋予为模块的属性时，他们自动地添加到模块参数列表中，且将会出现在如parameters()迭代器中。如果赋予一个普通张量则没有这样的效果
阅读全文
posted @ 2020-07-25 11:34
Pytorch中的张量复制
摘要：pytorch提供了clone、detach、copy_和new_tensor等多种张量的复制操作，尤其前两者在深度学习的网络架构中经常被使用，本文旨在对比这些操作的差别。 1. clone 返回一个和源张量同shape、dtype和device的张量，与源张量不共享数据内存，但提供梯度的回溯。 c
阅读全文
posted @ 2020-07-21 19:00
matlab中利用filtfilt函数实现零相位延迟滤波
摘要：通过FIR滤波后的信号发生明显的相位延迟，通过filtfilt函数可实现零相位延迟滤波。 filter滤波器称为一维数字滤波器。filtfilt滤波器称为零相位数字滤波。其滤波算法是基于filter而来的。只是filtfilt实现了零相位。其基本实现过程为先让信号用filter滤波，再将信号时域反转
阅读全文
posted @ 2020-07-16 18:43
RNN注意力机制
摘要：Seq2Seq架构下，通常将源序列编码为一个固定长度的向量。使用一个固定长度的向量可能是改善这个基本encoder-decoder架构性能的瓶颈。把整个输入编码为一个固定大小的向量，然后用这个向量解码，这意味着这个向量理论上能包含原来输入的所有信息，会对encoder和decoder有更高的要求，尤
阅读全文
posted @ 2020-07-15 13:07
利用MATLAB绘制矩阵色块图和热图
摘要：MATLAB自带热图命令： h = heatmap(XVarNames, XVarNames, R_t) https://ww2.mathworks.cn/help/matlab/ref/heatmap.html 热图属性控制： https://ww2.mathworks.cn/help/matla
阅读全文
posted @ 2020-07-10 11:54
pytorch多GPU并行计算，pytorch并行库
摘要：1. nn.DataParallel torch.nn.DataParallel(module, device_ids=None, output_device=None, dim=0) module -要并行化的模块 device_ids (python列表:int或torch.device) -
阅读全文
posted @ 2020-07-06 17:58
Pytorch剖析器及Pytorch模型的逐层分析
摘要：Pytorch的Autograd模块包括一个分析器（profiler），它可以让你检查模型中不同操作符的成本——包括CPU和GPU。 目前有两种模式——使用profile.实现仅cpu模式和基于nvprof(注册CPU和GPU活动)使用emit_nvtx。 torch.autograd.profil
阅读全文
posted @ 2020-07-06 17:55
Pytorch LSTM/GRU更新h0, c0
摘要：LSTM隐层状态h0, c0通常初始化为0，大部分情况下模型也能工作的很好。但是有时将h0, c0作为随机值，或直接作为模型参数的一部分进行优化似乎更为合理。 这篇post给出了经验证明： Non-Zero Initial States for Recurrent Neural Networks 给
阅读全文
posted @ 2020-07-05 17:28
打印CSDN文章
摘要：使用方法：按“F12”进入开发者工具，将以下js复制到 console，回车即可一键打印。 功能： 1、自动“展开阅读全文” 2、删除顶栏、侧栏、相关文章展示、浏览信息、广告、点赞等多余信息。真正的全清爽模式。 3、自动输出打印预览 1 (function(){ 2 'use strict'; 3
阅读全文
posted @ 2020-07-01 20:53
