pyspider环境部署2--pyspider安装
接上篇文章,在python3.6.4安装完成的基础上,安装相关依赖模块及pyspider。
依赖安装
1.setuptools和pip
setuptools和pip是python的包管理工具,python3会默认安装,版本可能不是最新,需要手动升级一下。这2个模块在python3的安装日志结尾处有提示。
2.phantomjs
phantomjs实现了一个无界面的webkit浏览器,用于渲染解析动态页面非常好用。
http://phantomjs.org/download.html
下载
wget https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.bz2 --no-check-certificate
解压
tar -jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2
建立phantomjs安装目录到/usr/local/bin/目录的软链接
ln -s /path/to/bin/phantomjs /usr/local/bin/phantomjs
将 phantomjs拷贝到/usr/bin/ 目录下,否则pyspider启动时不会自动启动phantomjs
scp /path/to/bin/phantomjs /usr/bin/
3.其它
yum -y install libxml2 libxml2-dev libxslt* zlib gcc openssl yum -y install libcurl-devel yum install gcc libffi-devel python-devel openssl-devel yum install sqlite-devel
重新编译安装Python
./configure --prefix=/usr/local/python3
make
make install
安装pyspider
pip3 install pyspider
无报错则安装成功,常见的报错类型见下节。
启动
pyspider &
访问 ip:5000,如下则安装成功