一些链接及报错

常用命令

1. linux 查看GPU信息和使用情况，nvidia-smi 链接 ，然后查看是不是你的程序 pwdx 145748，持续查看，2s刷新一次 watch nvidia-smi
2. linux查看cuda版本：nvcc -v
3. scp ：linux 远程跨服务器拷贝文件
4. rsync 服务器间同步文件命令，在需要拷贝文件到的那台服务器上执行下面命令:rsync -avuz -e 'ssh -p 22' user@remote-server-ip:/path/to/remote/folder /path/to/local/folder
5. 查看当前目录下一级子文件和子目录占用的磁盘容量： du -lh --max-depth=1、df -h

链接

1. Anaconda+用conda创建python虚拟环境
2. miniconda安装
3. spacy库安装及使用
4. 使用python进行正则替换，保留其中部分文字使用r'\3-\1-\2'，类似的“3”这样的反斜线加数字表示模式中捕获组的编号
5. linux程序后台运行且将打印信息保存在文件中 nohup python3 -u test.py > test.log 2>&1 &

可以用 ps -aux | grep test.py
查看对应程序的进程号,然后kill就可以停止这个程序

6. 查看 tensorflow 是GPU版本 还是CPU版本、检测tensorflow-gpu是否安装成功、tensorflow各个版本需要的CUDA版本、指定GPU 运行程序 CUDA_VISIBLE_DEVICES=1 python test.py
7. 非root用户在linux下安装多个版本的CUDA 1、非root用户在Linux系统下安装cuda
8. Xshell远程服务器后Tensorboard的本地可视化方法
9. 如何从Wikidata Id获取维基百科pageid、维基百科的pageid是什么？如何将其更改为真实页面网址？
10. Jupyter notebook远程访问服务器，nohup jupyter notebook --allow-root&
11. nlp工具stanza的中文语言模型离线安装、stanza github连接、斯坦福大学Stanza的使用
12. unicode汉字编码、python 判断字符串是否是纯中文或者英文
13. pip自动生成和安装requirements.txt

pip freeze > requirements.txt
pip install -r requirements.txt

14. PyTorch学习：加载模型和参数

# 保存和加载整个模型
torch.save(model_object, 'resnet.pth')
model = torch.load('resnet.pth')

# 将my_resnet模型储存为my_resnet.pth
torch.save(my_resnet.state_dict(), "my_resnet.pth")
# 加载resnet，模型存放在my_resnet.pth
my_resnet.load_state_dict(torch.load("my_resnet.pth"))

15. pycharm配置flake8语法插件
16. vim 操作指令

vi操作
1.跳到文本的最后一行：按“G”,即“shift+g”
2.跳到最后一行的最后一个字符 ： 先重复1的操作即按“G”，之后按“$”键，即“shift+4”。
3.跳到第一行的第一个字符：先按两次“g”，
4.跳转到当前行的第一个字符：在当前行按“0”。
5.vi加密。进入vi，输入":"  + "X" 之后就提示你输入两次密码。
6.文件重新载入 :e!
7.单行复制  将光标移到复制行 按 'yy'进行复制
8.多行复制  将光标移到复制首行 按 'nyy'进行复制 n=1.2.3.4。。。。。
9.粘贴 将光标移到粘贴行 按 'p'进行粘贴
10.查找 /pattern Enter 

17. GitHub仓库快速导入Gitee及同步更新
18. numpy，tensorflow，keras的乘除法、Pytorch总结之乘法
19. 10大python画图网站、画表格

报错

1. python -m spacy download en_core_web_sm 提示服务器连接一直失败安装不上
2. 'module' object has no attribute 'load'
3. UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position：解决办法 f = open("out.html","w",encoding='utf-8')
4. python：json 转换：'json.decoder.JSONDecodeError: Expecting property name enclosed in double quotes' 解决办法，转成双引号
5. 报错 PermissionError: [Errno 13] Permission denied: 'human_links_zh.txt'，解决办法：
   从

with open('human_links_zh.txt', 'r', encoding='utf-8') as f:
    x = f.readline()
    print(x)

变成

with open('human_links_zh.txt', 'r', encoding='utf-8') as f:
    x = f.readline()
print(x)

6. ./%E7%9B%B8%E5%86%8C/ 把乱码部分改为汉字，使用python3

from urllib.parse import quote
quote('汉字') # '%E6%B1%89%E5%AD%97'

import urllib
urllib.parse.unquote('%E6%B1%89%E5%AD%97')  # '汉字'

7. ProxyError: Conda cannot proceed due to an error in your proxy configuration，env | grep -i "_PROXY"，~/.bashrc，source .bashrc
   解决链接

8. Error: [WinError 10013] 以一种访问权限不允许的方式做了一个访问套接字的尝试。解决方法

由于多次启动tensotboard失败后，再启动显示Error: [WinError 10013] 以一种访问权限不允许的方式做了一个访问套接字的尝试的错误

netstat -ano|findstr 6006
taskkill /pid 6006 -t -f

另外一种多窗口运行的方法是指定tensorboard启动的端口为其他值
如：tensorboard --logdir=logpath --port=6007 则端口未被占用就不会报错了

9. python parser.add_argument 之坑 bool
   解决方法

parse.add_argument("--preprocess", action='store_true', help='run prepare_data or not')
# 在命令行执行py文件时，不加--preprocess，默认传入的preprocess参数为False；
# 如果加--preprocess，则传入的是True。

10. AttributeError: 'str' object has no attribute 'decode'：pip install 'h5py<3.0.0' -i https://pypi.tuna.tsinghua.edu.cn/simple