远程GPU服务器环境配置
miniconda 环境
在Linux系统中安装Miniconda通常涉及以下几个步骤：
步骤1：下载Miniconda安装脚本
可以从官方或者镜像站点下载Miniconda的Linux版本。这里提供一个通用的镜像站点下载命令，可以根据实际情况选择适合自己的Miniconda版本和架构：
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh
步骤2：赋予安装脚本执行权限
chmod +x Miniconda3-latest-Linux-x86_64.sh
步骤3：运行安装脚本
./Miniconda3-latest-Linux-x86_64.sh
执行脚本后，会启动安装程序，它将引导您完成安装过程：
- 阅读许可协议，滚动到底部后按
q退出阅读，然后输入yes接受协议。 - 输入安装路径（可选，默认路径一般为
/home/用户名/miniconda3）。恒源云中修改至/hy-tmp/conda/miniconda3。 - 是否将Miniconda的bin目录添加到PATH环境变量中，建议选择yes，这样可以在终端中全局使用conda命令。
步骤4：激活安装
安装完成后，安装程序可能会提示你是否立即初始化conda，输入yes。或者，你也可以手动激活更改，这通常涉及到关闭并重新打开终端窗口。
步骤5：配置国内镜像加速(可选)
为了加速后续的包下载，可以配置国内的conda软件源。例如，切换至阿里云镜像源：
conda镜像
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/bioconda/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/menpo/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/
conda config --set show_channel_urls yes
删除镜像
conda config --show channels
conda config --remove channels <channel_url>
pip镜像
要将Miniconda的pip安装镜像配置为清华镜像，你需要执行以下步骤：
首先，你需要在你的系统中打开命令行终端（在Windows上是CMD或PowerShell，在Mac或Linux上是Terminal）。
然后，使用以下命令将清华镜像源添加到pip的配置文件中。请根据你的操作系统选择相应的命令：
对于Unix-like系统（包括MacOS和Linux）：
mkdir -p ~/.pip
echo -e "[global]\nindex-url = https://pypi.mirrors.ustc.edu.cn/simple" > ~/.pip/pip.conf
对于Windows系统：
echo "[global]" >> %USERPROFILE%\pip\pip.ini
echo "index-url = https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple" >> %USERPROFILE%\pip\pip.ini
以上命令会在你的用户目录下创建或修改pip的配置文件，将默认的pip源替换为清华镜像源。
最后，你可以通过运行pip --version来检查是否成功更改了pip的源。如果配置正确，你应该能看到新的镜像源地址。
单次下载使用pip清华镜像
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple some-package
其他镜像
- 中国科学技术大学 : https://pypi.mirrors.ustc.edu.cn/simple
- 豆瓣：http://pypi.douban.com/simple/
- 阿里云：http://mirrors.aliyun.com/pypi/simple/
步骤6：验证安装
重新打开终端后，检查conda是否安装成功：
conda --version
如果返回了conda的版本号，说明安装成功并且已经可以正常使用。
步骤7：修改环境安装路径
conda环境路径
Miniconda 和 Anaconda 都使用 conda 命令行工具来管理虚拟环境，包括设置虚拟环境的默认安装路径。要修改Miniconda下虚拟环境的默认安装路径，请按照以下步骤操作：
-
打开命令提示符或终端（确保已激活Miniconda的环境）。
-
使用
conda config命令来添加或修改环境目录(envs_dirs)的路径。例如，如果你想将虚拟环境安装到D:\software\python\envs，运行：conda config --add envs_dirs /hy-tmp/conda/envs如果你想移除原有的某个路径，可以使用
--remove参数：conda config --remove envs_dirs C:\path\to\default\envs -
若要检查配置是否生效，可以运行：
conda config --show envs_dirs这将会显示出conda配置中envs_dirs列表的内容，确认你刚刚设置的新路径是否包含在内且处于合适的位置。
-
保存这些配置变化。Conda会自动更新
.condarc配置文件（位于Miniconda的安装目录或者用户的主目录下），确保新的路径设置会被持久化存储。 -
从现在开始，当你创建新的虚拟环境时，它们应该会默认安装在你指定的新路径下。
注意：
- 使用正斜杠
/或反斜杠\都是可以的，在Windows系统下，建议统一使用反斜杠\并且可能需要转义成双反斜杠\\。 - 如果要完全改变默认路径而非增加额外路径，可能需要先删除默认路径，然后再添加新路径。同时，确保新路径存在并且conda具有足够的权限进行写入操作。
pip缓存路径
修改配置文件
pip 的配置文件是一个名为 pip.ini（Windows）或 pip.conf（Unix）的文件，它通常位于用户主目录下的 .pip 文件夹中。如果该文件夹不存在，我们可以手动创建它。以下是一个示例的目录结构：
C:\Users\<Username>\.pip
└── pip.ini
在 pip.ini 中，我们可以添加一个 global 部分来设置全局的配置，或者添加一个 install 部分来设置特定项目的配置。下面是一个示例的 pip.ini 文件：
复制
[global]
cache-dir = /hy-tmp/conda/cache/pip
[install]
cache-dir = /hy-tmp/conda/cache/pip
在上面的示例中，我们将缓存目录设置为 D:\pip\Cache。通过修改配置文件，我们可以全局地或针对特定项目修改 pip 的缓存位置。
步骤8：清除安装包缓存（可选）
清除conda缓存
要清除Miniconda的包缓存，你可以使用以下命令：
conda clean --all
这个命令会删除所有未使用的缓存文件，包括：
- 包缓存 (
pkgs目录) - 索引缓存
- 锁文件
- 未使用的缓存包的tarball文件
- 未使用的缓存包的解压缩目录
如果你只想清除包的tarball文件，可以使用：
conda clean --tarballs
或者，如果你想删除未使用的缓存包的解压缩目录，可以使用：
conda clean --packages
使用 conda clean 命令时，你可能会看到一个提示，要求确认是否真的要删除文件。如果你想要在没有任何提示的情况下直接清除缓存，可以添加 -y 选项：
conda clean --all -y
这将自动确认所有的清除操作，而不会有任何进一步的提示。
清除pip缓存
pip cache purge
ssh端口转发
需要开放jupyter lab访问的端口时，需要进行端口转发
- AutoDL
ssh -CNg -L 8888:127.0.0.1:8888 root@123.125.240.150 -p 42151
- 使用秘钥的远程服务器
ssh -CNg -L 8888:127.0.0.1:8888 -i "秘钥路径" ubuntu@服务器ip -p 22
Docker配置
docker pull pytorch/pytorch:latest
docker run --gpus all -it -p 6006:6006 -p 8888:8888 -v "D:\Model":/home/root/models pytorch/pytorch:latest /bin/bash
docker run --name swift-env --gpus all -it -p 6006:6006 -p 8888:8888 pytorch/pytorch:latest /bin/bash
测试GPU环境
pytorch
import torch
# 检查是否有GPU可用
if torch.cuda.is_available():
print("GPU is available!")
else:
print("GPU is not available, using CPU.")
tensorflow
import tensorflow as tf
# 检查是否有GPU
if tf.test.is_gpu_available():
print("GPU is available!")
else:
print("GPU is not available, using CPU.")
