随笔分类 - GPU-cuda
摘要:1、安装cuda https://developer.nvidia.com/zh-cn/cuda-toolkit 以11.2为例,选择版本后,进行下载安装: wget https://developer.download.nvidia.com/compute/cuda/11.5.0/local_in
阅读全文
摘要:1、更换Tensorflow版本后,horovodrun有问题,说没有安装MPI或Gloo。解决:按步骤全部重新安装一遍。理解:不知道Horovod到tensorflow有什么依赖关系。可能也和版本有关系,我尝试了多遍。目前使用tensorflow 1.14.0版本/MPI 4.0.0版本安装环境没
阅读全文
摘要:Table 1. Knobs available for modification in NCCL Environment Variable Description Values Accepted NCCL_SHM_DISABLE The NCCL_SHM_DISABLE variable disa
阅读全文
摘要:前言 2006年,NVIDIA公司发布了CUDA,CUDA是建立在NVIDIA的CPUs上的一个通用并行计算平台和编程模型,基于CUDA编程可以利用GPUs的并行计算引擎来更加高效地解决比较复杂的计算难题。近年来,GPU最成功的一个应用就是深度学习领域,基于GPU的并行计算已经成为训练深度学习模型的
阅读全文