autodl学习笔记

 

标注文件(json)-->COCO数据集

使用PaddleDetection提供的x2coco.py 将labelme标注的数据转换为COCO数据集形式

python tools/x2coco.py \
                --dataset_type labelme \
                --json_input_dir ./labelme_annos/ \
                --image_input_dir ./labelme_imgs/ \
                --output_dir ./cocome/ \
                --train_proportion 0.8 \
                --val_proportion 0.2 \
                --test_proportion 0.0

 

 设置不同平台安装pip

 

报错：module ffmpeg has no attribute input 解决方法这是官网，该包正确名称为ffmpeg-python，易与ffmpeg、python-ffmpeg混淆；使用以下命令进行重新安装：

 

 

 构建一个虚拟环境名为：my-env，Python版本为3.7 $ conda create -n my-env python=3.7 更新bashrc中的环境变量 $ conda init bash && source /root/.bashrc 切换到创建的虚拟环境：my-env $ conda activate my-env 验证 $ python

 

 

注意：通过nvidia-smi命令查看到的CUDA版本只是驱动支持的最高cuda版本参数，不代表实例中安装的是该版本CUDA。

终端中执行查看默认镜像自带的CUDA版本（安装目录为/usr/local/）：

 

查询平台内置镜像中的cuda版本
$ ldconfig -p | grep cuda
        libnvrtc.so.11.0 (libc6,x86-64) => /usr/local/cuda-11.0/targets/x86_64-linux/lib/libnvrtc.so.11.0
        libnvrtc.so (libc6,x86-64) => /usr/local/cuda-11.0/targets/x86_64-linux/lib/libnvrtc.so
        libnvrtc-builtins.so.11.0 (libc6,x86-64) => /usr/local/cuda-11.0/targets/x86_64-linux/lib/libnvrtc-builtins.so.11.0

查询平台内置镜像中的cudnn版本
$ ldconfig -p | grep cudnn
        libcudnn_ops_train.so.8 (libc6,x86-64) => /usr/lib/x86_64-linux-gnu/libcudnn_ops_train.so.8
        libcudnn_ops_train.so (libc6,x86-64) => /usr/lib/x86_64-linux-gnu/libcudnn_ops_train.so
        libcudnn_ops_infer.so.8 (libc6,x86-64) => /usr/lib/x86_64-linux-gnu/libcudnn_ops_infer.so.8
        libcudnn_ops_infer.so (libc6,x86-64) => /usr/lib/x86_64-linux-gnu/libcudnn_ops_infer.so

上边的输出日志.so后的数字即为版本号。如果你通过conda安装了cuda那么可以通过以下命令查看：

 

$ conda list | grep cudatoolkit
cudatoolkit               10.1.243             h6bb024c_0    defaults
$ conda list | grep cudnn
cudnn                     7.6.5                cuda10.1_0    defaults

方法一：使用conda进行安装¶

优点：简单

缺点：一般不会带头文件，如果需要做编译，则需要照方法二安装

方法：

 

$ conda install cudatoolkit==xx.xx
$ conda install cudnn==xx.xx

如果你不知道版本号是什么那么可以搜索：

 

$ conda search cudatoolkit

方法二：下载安装包安装¶

CUDA下载地址：https://developer.nvidia.com/cuda-toolkit-archive

安装方法：

 

下载.run格式的安装包后：
$ chmod +x xxx.run   # 增加执行权限
$ ./xxx.run          # 运行安装包

cuDNN下载地址：https://developer.nvidia.com/cudnn

安装方法：

先解压， 后将动态链接库和头文件放入相应目录

 

 $ mv cuda/include/* /usr/local/cuda/include/
 $ chmod +x cuda/lib64/* && mv cuda/lib64/* /usr/local/cuda/lib64/

安装完成以后，增加环境变量：

 

$ echo "export LD_LIBRARY_PATH=/usr/local/cuda/lib64/:${LD_LIBRARY_PATH} \n" >> ~/.bashrc
$ source ~/.bashrc && ldconfig

----------------------------------

# 切换conda虚拟环境后
conda install tensorflow-gpu==1.15.0     # conda会自动解析依赖安装tensorflow 1.15.0版本需要的cuda和cudnn，无需自己独立安装

# 安装完使用Python进行简单的测试：
import tensorflow as tf 
hello = tf.constant('Hello, TensorFlow!') 
sess = tf.Session(config=tf.ConfigProto(log_device_placement=True))
print(sess.run(hello))

======================================

Notebook环境切换¶

如何在JupyterLab的Notebook中使用新的Conda环境

 

# 创建Conda新的虚拟环境（如已创建，请忽略！）
conda create -n tf python=3.7             # 构建一个虚拟环境，名为：tf
conda init bash && source /root/.bashrc   # 更新bashrc中的环境变量

# 将新的Conda虚拟环境加入jupyterlab中
conda activate tf                         # 切换到创建的虚拟环境：tf
conda install ipykernel
ipython kernel install --user --name=tf   # 设置kernel，--user表示当前用户，tf为虚拟环境名称

清除Conda虚拟环境¶

 

# 清除安装的环境
conda deactivate          # 退出当前(tf)环境到base环境
conda remove -n tf --all  # 清除tf环境

删除安装包和缓存¶

 

conda clean -y --all
================================

FastGit核心使法¶

关于 FastGit 的使用，本质上与 git 有关。常规的面向 GitHub 的 clone 命令可能如下：

 

git clone https://github.com/author/repo

使用 FastGit 时，可使用如下命令：

 

git clone https://hub.fastgit.xyz/author/repo

当然，您也可以直接修改 git 的配置，使用 FastGit 替换所有指向 GitHub 的链接：

 

git config --global url."https://hub.fastgit.xyz/".insteadOf "https://github.com/"
git config protocol.https.allow always

附其他地址的代理：

站源	地址
github.com	hub.fastgit.xyz
raw.githubusercontent.com	raw.fastgit.org
github.githubassets.com	assets.fastgit.org

======================================================================================================================