【爬虫系列之一】爬虫开发环境的搭建

当前python分为2.x版本，以及3.x版本，这两个版本相互直接是不兼容的，但是当前世面的主流web或者程序还是2.x偏多，所以我这边主要是2.x版本为基础，确切地说，是2.7版本。

下面来说说 如何安装开发环境以及开发工具

一、环境的安装

MAC上安装python

如果你正在使用Mac，系统是10.13.3，系统自带了Python 2.7。这边也可以在直接在终端输入如下命令，看是否存在python以及python版本

➜  ~ python --version
Python 2.7.10
➜  ~

如果需要安装python3，则执行以下命令

➜ ~ brew install python

注意：

• 安装Python2.7以上版本，会自动带pip。
• Python3高版本自带pip3
• MAC自带的python是没有pip，此时需要如果需要使用，请执行

// 给系统的python安装pip
➜  ~ sudo easy_install pip

LINUX上安装python

#安装依赖
➜  ~ yum -y install python-devel openssl openssl-devel gcc sqlite sqlite-devel mysql-devel libxml2-devel libxslt-devel

#下载python2.7
➜  ~ wget https://www.python.org/ftp/python/2.7.13/Python-2.7.13.tgz

➜  ~ mkdir /software
➜  ~ mv Python-2.7.13.tgz /software
➜  ~ cd /software
➜  ~ tar -zxf Python-2.7.13.tgz

➜  ~ cd Python-2.7.13/
➜  ~ ./configure --prefix=/usr/local/python2.7 --with-threads --enable-shared
➜  ~ make
➜  ~ make altinstall

# 备份旧python相关命令
➜  ~ mv /usr/bin/pip /usr/bin/pip_old
➜  ~ mv /usr/bin/easy_install /usr/bin/easy_install_old
➜  ~ mv /usr/bin/python /usr/bin/python_old

# 新版本python命令做软连接，快捷使用
➜  ~ ln -s /usr/local/python2.7/lib/libpython2.7.so /usr/lib
➜  ~ ln -s /usr/local/python2.7/lib/libpython2.7.so.1.0 /usr/lib
➜  ~ ln -s /usr/local/python2.7/bin/python2.7 /usr/bin/python
➜  ~ ln -s /usr/local/python2.7/lib/libpython2.7.so /usr/lib64
➜  ~ ln -s /usr/local/python2.7/lib/libpython2.7.so.1.0 /usr/lib64

# 下载最新版的pip，然后安装
➜  ~ cd /software
➜  ~ wget https://bootstrap.pypa.io/get-pip.py
➜  ~ python get-pip.py
➜  ~ ln -s /usr/local/python2.7/bin/pip /usr/bin/pip

# 查找pip的位置
➜  ~ find / -name pip

在windows上面安装

从Python的官方网站python.org下载最新的2.7版本

然后，运行下载的MSI安装包，在选择安装组件的一步时，勾上所有的组件：、

特别要注意选上pip和Add python.exe to Path，然后一路点“Next”即可完成安装。

默认会安装到C:Python27目录下，然后打开命令提示符窗口，敲入python后，就会出现>>>提示符

二、开发工具的安装

不论是mac还是windows都是，从pycharm官网下载该工具，然后傻瓜式安装，打开需要激活，有多余经费的娃子们，推荐购买正版，穷人可以考虑加群：725479218 获取 pycharm激活 的 激活方式