随笔分类 - 深度学习-平台相关
1
摘要:1、学习率设置策略 Pytorch 已经实现了两种方法:「torch.optim.lr_scheduler.CyclicLR」和「torch.optim.lr_scheduler.OneCycleLR」。参考文档:https://pytorch.org/docs/stable/optim.html
阅读全文
摘要:1、CUDA 有两种API,分别是 运行时 API 和 驱动API,即所谓的 Runtime API 与 Driver API。 nvidia-smi 的结果除了有 GPU 驱动版本型号,还有 CUDA Driver API的型号,而nvcc的结果是对应 CUDA Runtime API 2、在安装
阅读全文
摘要:nvcc --version(自己安装的cuda版本) 版本需要和nvidia-smi查看到的cuda版本(nvidia驱动对应的cuda版本)一致 1、解压:tar zxvf cudnn-10.1-linux-x64-v7.5.0.56.tgz include lib64两个文件夹 2、cuda安
阅读全文
摘要:1、RuntimeError: invalid argument 0: Sizes of tensors must match except in dimension 0. Got 342 and 281 in dimension 3 at /pytorch/aten/src/TH/generic/
阅读全文
摘要:前提: 模型参数和结构是分别保存的 1、 构建模型(# load model graph) model = MODEL() 2、加载模型参数(# load model state_dict) model.load_state_dict ( { k.replace('module.',''):v fo
阅读全文
摘要:原因可能是pytorch 自带的BN bug:安装nvidia apex 可以解决: $ git clone https://github.com/NVIDIA/apex $ cd apex $ pip install -v --no-cache-dir --global-option="--cpp
阅读全文
摘要:1、RuntimeError: cuda runtime erorr (77): an illegal memory access was encountered at 在使用命令前面加上CUDA_LAUNCH_BLOCKING=1(禁止并行的意思)(设置os.environ['CUDA_LAUNC
阅读全文
摘要:设置这个 flag 可以让内置的 cuDNN 的 auto-tuner 自动寻找最适合当前配置的高效算法,来达到优化运行效率的问题。 应该遵循以下准则: 如果网络的输入数据维度或类型上变化不大,设置 torch.backends.cudnn.benchmark = true 可以增加运行效率; 如果
阅读全文
摘要:forward方法的具体流程: 以一个Module为例:1. 调用module的call方法2. module的call里面调用module的forward方法3. forward里面如果碰到Module的子类,回到第1步,如果碰到的是Function的子类,继续往下4. 调用Function的ca
阅读全文
摘要:本文转载自:https://www.cnblogs.com/lyc-seu/p/8647792.html Tensorflow Summary用法 tensorboard 作为一款可视化神器,是学习tensorflow时模型训练以及参数可视化的法宝。而在训练过程中,主要用到了tf.summary()
阅读全文
摘要:1、TensorFlow中Tensor维度理解: (1)对于2维Tensor 0维对应列 1维对应行 (2)维度操作举例: 对于k维的,tf.reduce_sum(x, axis=k-1)的结果是对最里面一维所有元素进行求和。 tf.reduce_sum(x, axis=k-2)是对倒数第二层里的向
阅读全文
摘要:在Tensorflow中,所有操作对象都包装到相应的Session中的,所以想要使用不同的模型就需要将这些模型加载到不同的Session中并在使用的时候申明是哪个Session,从而避免由于Session和想使用的模型不匹配导致的错误。而使用多个graph,就需要为每个graph使用不同的Sessi
阅读全文
摘要:参考网址:https://blog.csdn.net/zhuangwu116/article/details/81063234 (1)下载安装文件: 下载cuda9.0 runfile 文件 下载地址 下载cudnn deb文件一共有两个文件,一个库文件一个开发文件,下载cudnn需要注册账号 下载
阅读全文
摘要:确保环境以及安装好tensorflow以及tensorboard 下面通过一个简单的例子来显示一下使用方式,一个向量加法的图结构。 运行完程序后,图结构将以日志文件的形式保存到给定的路径下。 然后在命令行启动Tensorboard。Tensorboard作为本地的一个服务已经启动,端口号是6006,
阅读全文
摘要:TensorFlow TensorFlow 是相对高阶的机器学习库,用户可以方便地用它设计神经网络结构,而不必为了追求高效率的实现亲自写 C++或 CUDA 代码。它和 Theano 一样都支持自动求导,用户不需要再通过反向传播求解梯度。其核心代码和 Caffe 一样是用 C++编写的,使用 C++
阅读全文
摘要:基本知识 使用 TensorFlow, 你必须明白 TensorFlow: 使用图 (graph) 来表示计算任务. 在被称之为 会话 (Session) 的上下文 (context) 中执行图. 使用 tensor 表示数据. 通过 变量 (Variable) 维护状态. 使用 feed 和 fe
阅读全文
摘要:原因: AMSgrad只支持2017年12月11日后发行的keras版本 解决办法: pip install --upgrade keras
阅读全文
摘要:转载自:https://blog.csdn.net/qq_14845119/article/details/54929389 solver.prototxt net:训练预测的网络描述文件,train_test.prototxt test_initialization:取值为true或者false,
阅读全文
摘要:本文转载自:https://buptldy.github.io/2016/10/09/2016-10-09-Caffe_Code/ Caffe简介 Caffe作为一个优秀的深度学习框架网上已经有很多内容介绍了,这里就不在多说。作为一个C++新手,断断续续看Caffe源码一个月以来发现越看不懂的东西越
阅读全文
摘要:darknet是一个较为轻型的完全基于C与CUDA的开源深度学习框架,其主要特点就是容易安装,没有任何依赖项(OpenCV都可以不用),移植性非常好,支持CPU与GPU两种计算方式。1、test源码(泛化过程) (1)test image a(预测):load_network(network.c)
阅读全文
1