学习笔记(38)- 安装SogouMRCToolkit
因为依赖gpu,机器比较贵,最近开始集中做这个实验。
经历了5次操作系统、显卡驱动、GPU、CUDA、CUDNN的选择,终于安装成功,可以运行了。一把辛酸泪。。。
操作系统
Welcome to Ubuntu 16.04.6 LTS (GNU/Linux 4.4.0-174-generic x86_64)
CUDA版本选择:
注意不是CUDA9.2,是CUDA9.0
ubuntu 18 支持CUDA10
ubuntu 16 支持CUDA9
别再掉坑~~
python版本用了自带的。
Python 3.5.2 (default, Oct 8 2019, 13:06:37)
[GCC 5.4.0 20160609] on linux
要用虚拟环境,安装这个
apt-get install python3-venv
https://github.com/sogou/SogouMRCToolkit 依赖 tensorflow-gpu==1.12
- 报错1
error: command 'x86_64-linux-gnu-gcc' failed with exit status 1
apt-get install build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev
- 报错2
将setup.py的stanfordnlp改为stanfordcorenlp。 我查了下,stanfordnlp已不支持了。
- 报错3
spacy.load('en', disable=['parser','tagger','entity'])
python3 -m spacy download en
服务器下载这个还404了!
我在本地下载,然后拷贝到服务器的对应目录
site-packages/spacy/data/en 软连接到 site-packages/en_core_web_sm
- 其他
bert需要的数据、模型,拷贝上去,修改对应位置的代码
安装的包:
Successfully installed future-0.18.2 numpy-1.18.3 protobuf-3.11.3 six-1.14.0 stanfordnlp-0.2.0 torch-1.5.0 tqdm-4.45.0
踩了一天的坑,心累哇😢