服务器跑代码总结

服务器跑代码总结

最近刚开始使用服务器跑一些深度学习模型，遇到了一些坑，导致代码运行效率很低，总结了一些应该注意的细节来提高准确率，特此记录。

配环境换源等注意事项

俗话说得好，配环境配一天，跑代码一分钟。

由于一些网络的原因，服务器在配相关代码的环境时，直接使用诸如 conda env create -f environment.yaml，或者 pip install -r requirements.txt时，不能够流畅地运行。因此要考虑换源了：

conda

vi ~/.condarc

修改为：

channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/Paddle/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/fastai/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/
show_channel_urls: true
ssl_verify: false

pip

PyPI 镜像在每次同步成功后间隔 5 分钟同步一次。

临时使用

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple `some-package`

注意，simple 不能少, 是 https 而不是 http

设为默认

升级 pip 到最新的版本 (>=10.0.0) 后进行配置：

python -m pip install --upgrade pip
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

如果您的 pip 默认源的网络连接较差，临时使用本镜像站来升级 pip：

python -m pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --upgrade pip

当然有时候不能保证这种方法能够解决100%的配环境的问题，有时候可能还要考虑一个个去安装一些难安装的包。

调整GPU

1、首先查看哪些GPU空闲，****nvidia-smi显示当前GPU使用情况。

nvidia-smi

2、然后指定空闲的GPU运行python程序。

CUDA_VISIBLE_DEVICES=3,4,5 python test.py

二、在python程序中指定GPU

import os
os.environ["CUDA_VISIBLE_DEVICES"] = "0,2,3"

screen

# 查看当前的screen列表
 screen -ls
# 创建一个 Screen
screen -S yourname

....your operation.....

# 恢复退出了的screen 
screen -r yourname
# 删除一个 screen
screen -S yourname -X quit
# detach 一个 screen
screen -d yourname

统计各个用户的空间占用

#参考du -sh 目录
sudo du -sh /home/*

refer

https://mirrors.tuna.tsinghua.edu.cn/