学习笔记（38）- 安装SogouMRCToolkit

因为依赖gpu，机器比较贵，最近开始集中做这个实验。

经历了5次操作系统、显卡驱动、GPU、CUDA、CUDNN的选择，终于安装成功，可以运行了。一把辛酸泪。。。

操作系统
Welcome to Ubuntu 16.04.6 LTS (GNU/Linux 4.4.0-174-generic x86_64)

CUDA版本选择：

注意不是CUDA9.2，是CUDA9.0

ubuntu 18 支持CUDA10
ubuntu 16 支持CUDA9

别再掉坑~~

python版本用了自带的。
Python 3.5.2 (default, Oct 8 2019, 13:06:37)
[GCC 5.4.0 20160609] on linux

要用虚拟环境，安装这个
apt-get install python3-venv

https://github.com/sogou/SogouMRCToolkit 依赖 tensorflow-gpu==1.12

• 报错1

error: command 'x86_64-linux-gnu-gcc' failed with exit status 1

apt-get install build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev

• 报错2

将setup.py的stanfordnlp改为stanfordcorenlp。 我查了下，stanfordnlp已不支持了。

• 报错3

spacy.load('en', disable=['parser','tagger','entity'])

python3 -m spacy download en

服务器下载这个还404了！   
我在本地下载，然后拷贝到服务器的对应目录
site-packages/spacy/data/en 软连接到 site-packages/en_core_web_sm

• 其他

bert需要的数据、模型，拷贝上去，修改对应位置的代码

安装的包：
Successfully installed future-0.18.2 numpy-1.18.3 protobuf-3.11.3 six-1.14.0 stanfordnlp-0.2.0 torch-1.5.0 tqdm-4.45.0

踩了一天的坑，心累哇😢