Data
Stay hungry,Stay foolish!

导航

 
前言:为了将爬虫项目布置到服务器上,才有了今天这一下午的坑,必须记录
不要动现有的python2环境!不要动现有的python2环境!不要动现有的python2环境!

解压

tar -xvf Python-3.5.5.tgz

开始安装

./configure --prefix=/usr/local/python35 --with-ssl

接下来

make
make install

设置软链,打死不要命名python为python3的软链!!!

ln -s /usr/local/python35/bin/python3.5 /usr/bin/python3

pip重中之中

1、安装pip前需要前置安装setuptools

wget --no-check-certificate https://pypi.python.org/packages/source/s/setuptools/setuptools-19.6.tar.gz#md5=c607dd118eae682c44ed146367a17e26

tar -zxvf setuptools-19.6.tar.gz

cd setuptools-19.6

python3 setup.py build

python3 setup.py install

报错:RuntimeError: Compression requires the (missing) zlib module

我们需要在linux中安装zlib-devel包,进行支持。

yum install zlib-devel

需要对python3.5进行重新编译安装。(make & make install)

cd python3.5

make & make install

又是漫长的编译安装过程。

重新安装setuptools

python3 setup.py build

python3 setup.py install

2、安装pip
wget --no-check-certificate https://pypi.python.org/packages/source/p/pip/pip-8.0.2.tar.gz#md5=3a73c4188f8dbad6a1e6f6d44d117eeb

tar -zxvf pip-8.0.2.tar.gz

cd pip-8.0.2

python3 setup.py build

python3 setup.py install

如果没有意外的话,pip安装完成。

测试:

我们使用pip安装一个python3第三方库:python3 -m pip install paramiko

ImportError: cannot import name 'HTTPSHandler'

缺少openssl的开发环境,我们继续安装

yum install openssl-devel

继续重新编译安装python3.5(make & make install)

ok,我们终于完成了整个python3环境的安装。

pip3:
ln -s /usr/local/python3.5/bin/pip3 /usr/bin/pip3

安装scrapy

1.这里需要先安装Twisted 并且版本越高越好,否则会不支持报如下错误

ModuleNotFoundError: No module named 'twisted.persisted'

pip3 install Twisted
我在这里找不到这个版本,就直接使用了如下这个:

wget https://twistedmatrix.com/Releases/Twisted/17.9/Twisted-17.9.0.tar.bz2

2.解压下载下来的Twisted-17.9.0.tar.bz2

tar -xvf Twisted-17.9.0.tar.bz2

如果报错:
tar (child): lbzip2: Cannot exec: No such file or directory
tar (child): Error is not recoverable: exiting now
tar: Child returned status 2
tar: Error is not recoverable: exiting now

安装命令
yum -y install bzip2

3.安装
进入解压后的目录,执行:
python setup.py install

4.pip3 install scrapy就可以成功了

posted on 2018-10-30 17:46  进击中的青年  阅读(2897)  评论(0编辑  收藏  举报