pyspider环境部署2--pyspider安装

接上篇文章,在python3.6.4安装完成的基础上,安装相关依赖模块及pyspider。

依赖安装

1.setuptools和pip

setuptools和pip是python的包管理工具,python3会默认安装,版本可能不是最新,需要手动升级一下。这2个模块在python3的安装日志结尾处有提示。

2.phantomjs

phantomjs实现了一个无界面的webkit浏览器,用于渲染解析动态页面非常好用。

http://phantomjs.org/download.html

下载

wget https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.bz2 --no-check-certificate

解压

tar -jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2
建立phantomjs安装目录到/usr/local/bin/目录的软链接
ln -s /path/to/bin/phantomjs /usr/local/bin/phantomjs

将 phantomjs拷贝到/usr/bin/ 目录下,否则pyspider启动时不会自动启动phantomjs

scp /path/to/bin/phantomjs /usr/bin/

3.其它

yum -y install libxml2 libxml2-dev libxslt* zlib gcc openssl
yum -y install libcurl-devel
yum install gcc libffi-devel python-devel openssl-devel
yum install sqlite-devel

重新编译安装Python

./configure --prefix=/usr/local/python3
make
make install

安装pyspider

pip3 install pyspider

无报错则安装成功,常见的报错类型见下节。

启动

pyspider &

访问 ip:5000,如下则安装成功

 

posted @ 2019-03-08 11:02  大明湖畔的守望者  阅读(511)  评论(0编辑  收藏  举报