Python模块安装
2018-12-05 11:42 AlfredZKY 阅读(673) 评论(0) 编辑 收藏 举报工欲善其事,必先利其器!!!!
本文会介绍本人使用的所有模块的安装:
1.python的安装
官方网站:https://www.python.org/
下载地址:https://www.python.org/downloads/
第三方库:https://pypi.org/
官方文档:https://docs.python.org/3/
中文教程:http://www.runoob.com
awesome Python:https://github.com/vinta/awesome-python
awesome Pyhton 中文版:https://github.com/jobbole/awesome-python-cn
windows:
推荐直接下载安装包进行安装。
linux(Ubuntu):
sudo apt-get install -y python3-dev build-essential libssl-dev libffi-dev libxml2 libxml2-dev libxsltl-dev zlib1g-dev libcurl4-openssl-dev
sudo apt-get install y python3
sudo apt-get install -y python3-pip3
介绍下源码编译安装:
源码下载地址:https://www.python.org/ftp/python/ 可以自行选择合适的版本进行下载。,这里已pyhton3.6.2为例,安装路径设置为、/usr/local/python3.
首先创建安装目录:
sudo mkdir /usr/local/python3
随后下载安装包并解压进入,相关命令如下:
wget --no-check-certificate https://www.python.org/ftp/python/3.6.2/Python-3.6.2.tgz
tar -xzvf Python-3.6.2.tgz
cd Python-3.6.2
接下来就是编译安装:
sudo ./configure --prefix=/usr/local/python3
sudo make
sudo make install
安装完成后,创建python3连接:
sudo ln -s /usr/local/python3/bin/python3 /usr/local/python3
下面是pip3的安装:
wget --no-check-certificate https://github.com/pypa/pip/archive/9.0.1.tar.gz
tar -zxvf 9.0.1.tar.gz
cd pip-9.0.1
python3 setup.py install
创建pip3连接
sudo ln -s /usr/local/python3/bin/pip /usr/bin/pip3
mac下安装:
1.Homebrew安装:
homebrew是mac下的包管理工具,其官方网站是https://brew.sh/.
执行命令即可安装homebrew
ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
完毕后,使用homebrew安装python3 和pip3
brew install python3
2.reauests库的安装:由于requests属于第三方库,所以默认不带这个库,需要手动安装。
pip安装:
pip3 install requests
wheel安装:
1.先安装wheel
pip3 install wheel
2.到PyPI上下载对应的wheel文件到本地,如selenium-3.141.0-py2.py3-none-any.whl,命令行进如wheel文件,利用pip3安装
pip3 install selenium-3.141.0-py2.py3-none-any.whl
下面就不在介绍wheel安装,安装方式和requests一样。
3.selenium的安装
selenium是一个自动化测试工具,利用它可以驱动浏览器执行特定的动作,如点击和下拉操作,对于一些JavaScript渲染的页面来说,这种抓取方式非常有效,
安装:
pip3 install selenium
4.ChromeDriver安装
selenium是一个自动化测试工具,需要配合浏览器使用,ChromeDriver 就是做这个事的。它驱动的是chrome浏览器,要根据浏览器版本进行对应版本的下载。
1.相关链接:
官网:https://sites.google.com/a/chromium.org/chromedriver/
下载链接:https://chromedriver.storage.googleapis.com/index.html
2.解压下载的文件,然后设置环境环境变量
win下可以直接把chromedriver.exe 拖到python的script目录下。
linux或mac下需要将elf文件配置到环境变量,或将文件移动到属于环境变量的目录里(有界面的,无界面请使用命令行操作)。
打开解压包文件
sudo mv chromedriver /usr/bin
export PATH="$PATH:/usr/local/chromedriver"
保存文件后执行 source ~/.profile 即可完成配置。
5.GeckoDriver的安装
对于chrome浏览器使用chromedriver驱动,对于firefox浏览器就需要geckodriver驱动了。
1.相关链接:
1.githun:https://github.com/mozilla/geckodriver
2.下载链接:https://github.com/mozilla/geckodriver/releases
2.安装请参考chromedriver的安装教程及配制环境变量。
6.PhantomJS安装
PhantomJS是一个无界面的,可脚本编程的WebKit浏览器引擎,它原声支持多种Web标准:DOM操作,CSS选择器,JSON、Canvas以及SVG。
Selenium支持PhantomJS,这样在运行的时候就不会在弹出一个浏览器了,而且PhantomJS的运行效率也很高,还支持各种参数配置,使用非常方便。
相关链接:
1.官网:https://phantomjs.org/
2.官方文档:https://phantomjs.org/quick-start.html
3.下载地址:https://phantomjs.org/download.html
4.api接口说明:http://phantomjs.org/api/command-line.html
安装和配置请参考selenium
7.aiohttp的安装
之前derequests库是阻塞的http请求,aiohttp就是一个异步请求库。python3.5后加入了async/wait关键字。
相关链接:
1.官网文档:https://aiohttp.readthedocs.io/en/stable/
2.girhub:https://github.com/aio-libs/aiohttp/
3.pypi:https://pypi.org/project/aiohttp/
安装:
pip3 install aiohttp
另外官方还推荐安装如下两个库:一个是字符编码检测库cchardet,另一个是加速DNS的解析库aiodns
pip3 install cchardet aiodns
8.lxml的安装
lxml是python的一个解析库,支持HTML和