个人公众号

Python3 网络爬虫(请求库的安装)

Python3 网络爬虫(请求库的安装)

爬虫可以简单分为几步:抓取页面,分析页面和存储数据

在页面爬取的过程中我们需要模拟浏览器向服务器发送请求,所以需要用到一些python库来实现HTTP的请求操作,我们用到的第三方库有requests Selenium 和aiohttp

requests 的安装

相关链接:

  • GitHub :https://github.com/requests/requests
  • PypI:https://pypi.python.org/pypi/requests
  • 官方文档:http://www.python-requests.org
  • 中文文档:http://docs.python-request.org/zh_CN/latest

安装:

最好用的安装方式:pip 安装

pip3 install  requests

验证是否安装成功

打开控制台进入命令行模式,首先输入python3 然后输入import requests   如果什么报错或提示说明安装成功

#!/usr/bin/env python
# -*- coding:utf-8 -*-
#__author__=v_zhangjunjie02
import requests

 

Selenium 的安装

selenium是一种自动化测试工具,利用它可以驱动浏览器执行特定的动作,如点击,下拉等操作,对于一些JavaScript 渲染的页面来说,这种抓取方式非常有效,下面来看看selenium 的安装过程

相关链接

  • 官方网站:http://www.seleniumhq.org
  • GitHub :https://github.com/SeleniumHQ/selenium/tree/master/py
  • PypI: https://pypi.python.org/pypi/selenium
  • 官方文档:http://selenium-python.readthedocs.io
  • 中文文档:http://selenium-python-zh.readthedocs.io

还是用pip 安装

pip3 install selenium

验证是否安装成功:

打开控制台进入命令行模式,首先输入python3 然后输入import selenium   如果什么报错或提示说明安装成功

ChromeDriver 的安装

前面我们已经安装好了Selenium库,但是它是一个自动的测试工具,需要浏览器来配合使用,下面我们是Chrome浏览器和ChromeDriver驱动的配置

首先下载chromedriver 

随后安装chromedriver ,因为安装了Chromedriver 才能驱动Chrome完成相应的操作

Chromedriver 相关链接

  • 官方网站:https://sites.google.com/a/chromium.org/chromedriver
  • 下载地址:https://chromedriver.storage.googleapis.com/index.html

安装的chromedriver  要和Chrome 的版本一致

 环境变量的配置:

1.下载完成后 将ChromeDriver 的可执行文件配置到环境变量下

在Windows下建议直接将chromedriver.exe 文件拖拽到Python的Script 目录下,此外还可以单独配置其所在路径到环境变量

在Linux 和Mac 下需要将可执行文件配置到环境变量,或将文件移动到所属环境变量的文件里

例如,要移动文件到/user/bin 目录 ,首先需要在命令行模式下进入其文件的所在路径,然后将其移动到/user/bin:  

sudo mv chromedriver /user/bin

另外如果你的系统是Mac OS X  EI Capitan 及更新版本的话,需要关闭Rootless 内核保护机制,具体参考http://www.pc6.com/edu/86809.html

 

 当然,也可以将ChromeDriver 配置到$PATH :首先,可以将可执行文件放到某一目录,目录可以任意选择,例如将当前的可执行文件放到/user/local/chromedriver 目录下,接下来在Linux 下修改~/.profile 文件,在Mac 下可以修改~/.bash_profile文件添加如下内容

export PATH="$PATH:/usr/local/chromedriver"

保存后Linux下执行如下命令:

source ~/.profile

在mac 下执行:

source ~/.bash_profile

即可完成环境变量的添加

我们在程序中测试,执行如下代码:

from selenium import webdriver

browser=webdriver.Chrome()

运行之后,如果弹出一个空白的Chrome 浏览器,则证明所有的配置都没有问题,如果没有弹出,则需要检查之前的每一步配置

如果弹出后闪退,可能是Chrome 版本和chromedriver  版本不兼容导致的,更换对应的版本即可

 

GeckoDriver 的安装

GeckoDriver 是Firefox 浏览器的驱动

它的安装如下:

相关链接:

  • GitHub:https://github.com/mozilla/geckodriver
  • 下载地址:https://github.com/mozilla/geckodriver/releases

我们可以在github 上找到它的发行版本

 

 环境变量配置同上

 

 

 PhantomJS 的安装

phantomjs 是一个无界面,可脚本编程的WebKit浏览器引擎,它原生支持多种Web 标准:DOM操作,css 选择器,JSON ,Canvas 以及SVG

selenium支持phantomjs ,在运行的时候不会弹出一个浏览器,而且phantomjs 的运行效率也很高,还支持各种参数配置,使用非常方便:它的安装如下:

相关链接:

  • 官方网站:http://phantomjs.org
  • 官方文档:http://phantomjs.org/quick-start.html
  • 下载地址:http://phantomjs.org/download.html
  • API 接口说明:http://phantomjs.org/api/command-line.html

我们在官网上下载对应的安装包后,需要将可执行文件添加进环境变量(环境变量的添加方法,同上)

验证是否配置成功:在命令行输入phantomjs-v 如果输出对应的版本,说明配置成功

验证是否安装成功:

from selenium import webdriver

browser=webdriver.PhantomJS()

browser.get('https://www.baidu.com')

print(browser.current_url)

运行后不会有浏览器弹出,但是把url打印出来了,说明安装成功了

 

 

aiohttp 的安装

之前介绍的requests 库是一个阻塞式HTTP请求库,当我们发送一个请求后,程序会一直等待服务器响应,直到得到响应后程序才会做下一步处理,其实这个过程比较费时,如果程序可以在等待的过程中做一些其他的事情,如请求的调度,响应的处理等,那么爬取效率一定会大大提高

aiohttp 就是这样一个提供异步web服务的库,从python3.5 开始,Python加入了async/await 关键字,使的回调的方法更加直观和人性化,aiohttp 的异步操作借助于 async/await  关键字的写法变得更加简洁,架构更加清晰,使用异步请求库进行数据抓取时,会大大提高s效率(比如维护一个代理池,利用异步的方式检测大量代理的运行情况,会极大提升效率)

它的安装:

相关链接:

  • 官方文档:http://aiohttp.readthedocs.io/en/stable
  • GitHub:https://github.com/aio-libs/aiohttp
  • PyPI:https://pypi.python.org/pypi/aiohttp

pip 安装

pip3 install aiohttp

另外,官方还推荐安装如下两个库:一个是字符编码检测库cchardet ,另一个是加速DNS的解析库aiodns 安装命令如下

pip3 install cchardet aiodns

测试安装:

在python命令下导入 import aiohttp  如果没有报错,说明安装成功

 

 

解析库的安装

抓取网页之后,下一步就是从网页中提取信息,提取信息的方式有多种多样,可以使用正则来提取,但是写起来相对比较繁琐,这里还有很多强大的解析库:如 lxml ,Beautiful Soup ,pyquery  等,此外还提供了大量的解析方法。如Xpath 解析和CSS 选择器解析等,利用它,们我们可以便捷高效的从网页中提取有用的信息

lxml 的安装

lxml 是python的一个解析库,支持HTML 和XML 的解析,支持Xpath 解析方式,而且解析效率非常高,它的安装如下:

相关链接:

官方网站:http://lxml.de

GitHub: https://github.com/lxml/lxml

PyPI: https://pypi.python.org/pypi/lxml

mac 下安装

使用pip 安装:pip3 install lxml 

如果产生错误,可以执行如下命令将必要的类库安装

xcode-select --install 

之后再重新尝试pip  安装就没有问题了

lxml  是一个非常重要的库,后面的Beautiful Soup Scrapy 都要用到此库,所以一定要安装成功

 

 

Beautiful Soup 的安装

Beautiful  soup 是python的一个HTML 或XML的解析库,我们可以用它来方便的从网页中提取数据,它拥有强大的API和多样的解析方式,它的安装如下:

相关链接:

官方文档:https://www.crummy.com/software/BeautifulSoup/bs4/doc

中文文档:https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh

PyPi:https://pypi.python.org/pypi/beautifulsoup4

准备工作:

Beautiful  soup 的HTML ,XML的解析库依赖于 lxml 库,所以安装之前确保已经安装成功了 lxml 库

pip 安装

pip3 install beautifulsoup4

验证安装:

from bs4 import BeautifulSoup

soup=BeautifulSoup('<p>Hello</p>','lxml')

print(soup.p.string)

运行结果如下:

Hello

如果一致,说明安装成功

⚠️注意,这里我们虽然安装的是beautifulsoft4 这个包,但是引入的时候却引入bs4, 这是因为这个包源代码本身的库文件夹的名称就是bs4

 

 

pyquery 的安装

pyquery 同样是一个强大的网页解析工具,它提供了类似 jQuery  类似的语法来解析HTML文档,支持css  选择器,使用非常方便,它的安装如下:

相关链接:

GitHub:https://github.com/gawel/pyquery

PyPI : https://pypi.python.org/pypi/pyquery

官方文档:http://pyquery.readthedocs.io

 

pip 安装

pip3 install pyquery

验证同上

 

 

tesserocr  的安装

在爬虫的过程中难免会遇到各种各样的验证码,大多数验证码都是图形验证码,这时候我们可以直接用ocr  来识别

tesserocr是python的一个OCR库,但其实是对tesseract 做的一层Python API 的封装,所以它的核心是tesseract ,因此在安装tesserocr 之前,我们需要安装tesseract

相关链接

  • tesserocr GitHub :https://github.com/sirfz/tesserocr
  • tesserocr PyPI : https://pypi.python.org/pypi/tesserocr
  • tesseract 下载地址:http://digi.bib.uni-mannheim.de/tesseract
  • tesseract GitHub :https://github.com/tesseract-ocr/tesseract
  • tesseract 语言包:https://github.com/tesseract-ocr/tessdata
  • tesseract 文档:https://github.com/tesseract-ocr/tesseract/wiki/Documentation

Mac 下安装

brew 的安装参考:https://brew.sh/

或在终端执行/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
 

首先使用Homebrew 安装ImageMagick 和tesseract

brew install imagemagick

brew install tesseract --all-languages

接下来我们再安装tesserocr

pip3 install tesserocr pillow

这样我们便完成了tessercor 的安装

 

 

数据库的安装 

MySql的安装

MySql 是一个轻量级的关系型数据库,

相关链接

  • 官方网站:http://www.mysql.com/cn
  • 下载地址:https://www.mysql.com/cn/downloads
  • 中文教程:http://www.runoob.com/mysql/mysql-tutorial.html

mac 下安装

brew instal mysql

启动,停止和重启MySQl服务的命令

sudo mysql.server start 

sudo mysql.server stop

sudo mysql.server restart

 

MongoDB 的安装

mongoDB  是由c++ 语言编写的非关系型数据库,是一个基于分布式文件存储的开源数据库系统,其内容存储形式类似json 对象,他的字段值可以包含其他文档,数组及文档数组,非常灵活

mangoDB 支持多种平台,包括windows,linux ,MAX OS  在其官方网站上(http://www.mangodb.com/download-center)均可找到对应的安装包

它的安装过程

  • 官方网站:https://www.mongodb.com
  • 官方文档:https://docs.mangodb.com
  • GitHub:https://github.com/mongodb
  • 中文教程:http://www.runoob.com/mongodb/mongodb-tutorial.html

Mac  下安装

brew install mongodb

然后新建一个文件夹/data/db   用于存放MongoDB 数据

这里启动MongoDB 服务的命令如下

brew services start mongodb

sudo mongod

停止和重启MongoDB 服务的命令分别是

brew services stop mongodb

brew services restart mongodb

可视化工具

这里推荐一个可视化工具 RoboMongo/Robo 3T  官方网站为:https://robomongo.org/下载链接:https://robomongo.org/download

 

 

Redis的安装

redis 是一个基于内存非常高效的非关系型数据库,它的安装如下

相关链接

  • 官方网站:https://redis.io
  • 官方文档:https://redis.io/documentation
  • 中文文档:http://www.redis.cn
  • GItHub: https://github.com/antirez/redis
  • 中文教程:http://www.runoob.com/redis/redis-tutorial.html
  • Redis Desktop Manager:https://redisdesktop.com
  • Redis Desktop Manager GitHub : https://github.com/uglide/RedisDesktopManager

 

mac 下安装

brew install redis

启动Redis 服务的命令如下

brew services start redis

redis-server /use/local/etc/redis.conf

在mac 下Redis 的配置文件路径是/user/local/etc/redis.conf  可以通过修改它来配置访问密码

修改配置文件后,需要重启Redis 服务,停止和重启Redis 服务的命令分别如下

brew services stop redis

brew services restart redis

另外,在mac  下可以安装Redis Desktop Manager 可视化管理工具来管理Redis

 

 

存储库的安装

PyMySql的安装

相关链接

  • GitHub :https://github.com/PyMySQL/PyMySQL
  • 官方文档:http://pymysql.readthedocs.io/
  • PyPI:  https://pypi.python.org/pypi/PyMySQL

pip安装

pip3 install pymysql

PyMongo 的安装

pip3 install pymongo

redis-py的安装

pip3 install redis

 

 

 

RedisDump 的安装

它是一个用于将redis 数据导入导出的工具,基于Ruby实现,要想安装它先的安装Ruby、

1.相关链接:

GitHub :https://github.com/delano/redis-dump

官方文档:http://delanotes.com/redis-dump

2.安装Ruby

参考:http://www.ruby-lang.org/zh_cn/documentation 

3.gem 安装

gem install redis-dump

4.验证安装

redis-dump

redis-load 

如果这两条命令可以成功调用,说明安装成功

 

 

web库的安装

flask 的安装

相关链接

Github:https://github.com/pallets/flask

官方文档:http://flask.pocoo.org

中文文档:http://docs.jinkan.org/docs/flask

PyPi: https://pypi.python.org/pypi/Flask

安装

pip3 install flask

 

tornado的安装

tornado是一个支持异步的web框架,通过使用非阻塞I/O 流,它可以支持成千上万的开放链接,效率非常高

1.相关链接

GitHub : https://github.com/tornadoweb/tornado

PyPI : https://pypi.python.org/pypi/tornado

官方文档: http://www.tornadoweb.org

安装

pip install tornado

 

mitmproxy  的安装

mitmproxy 是一个支持http和https 的抓包程序,类似于fiddler 和charles  只不过,它是通过控制台的形式去操作

此外mitproxy 还有两个相关组件,mitmdump ,它是mitmproxy 的命令行接口,利用它可以对接python脚本,实现监听后的处理;一个是mitmweb 它是一个web程序,通过它可以清楚的观察到mitmproxy 捕获的请求

它们的安装如下:

  • GitHub :https://github.com/mitmproxy/mitmproxy
  • 官方网站:https://mitmproxy.org 
  • PyPI:https://pypi.python.org/pypi/mitmproxy
  • 官方文档:http://docs.mitmproxy.org
  • mitmdump 脚本: http://docs.mitmproxy.org/en/stable/scripting/overview.html
  • 下载地址:https://github.com/mitmproxy/mitmproxy/releases
  • DockerHub: https://hub.docker.com/r/mitmproxy/mitmproxy

安装方式一:mac 下安装

pip3 install mitmproxy

如果不行执行

brew  install mitmproxy

证书设置:

对于mitmproxy 来说,如果想捕获https 请求需要设置证书,mitmproxy 在安装后会提供一套CA证书,只要客户端信任了mitmproxy 提供的证书,就可以通过mitmproxy 捕获https请求

首先运行以下命令产生CA证书

mitmdump

接下来在用户目录下的.mitmproxy 目录里找到CA 证书,证书一共有5个

 

Appium 的安装

Appium是移动端的自动化测试工具,利用它可以驱动Android 和 IOS 等设备完成自动化的测试 其官方网站为:http://appium.io

1.相关链接:

GitHub : https://github.com/appium/appium

官方网站:http://appium.io

官方文档:http://appium.io/introduction.html

下载链接:https://github.com/appium/appium-desktop/release

Python Client :https://github.com/appium/python-clent

安装appium

appium 负责驱动移动端来完成一系列操作对于ios 来说,它使用苹果的UIAutonation 来实现驱动,对于Android  来说,它使用UIAutomator 和Selendroid  来实现驱动

同时Appiumd 相当于一个服务器,我们可以向它发送一些操作指令,他会根据不同的指令对移动端设备完成不同的操作

安装Appium 有两种方式,一种是直接下载Appium  Desktop  来安装,另一种是通过node.js 来安装

 

Appium Desktop 

链接地址:https://github.com/appium/appium-desktop/releases

 

 推荐使用node.js 安装

使用node.js 安装先要安装node.js  参考链接:http://www.runoob.com/nodejs/nodejs-install-setup.html

然后使用命令npm install -g appium 安装,这条命令执行完后就完成了appium 的安装

 

Android   开发环境的配置

Android  环境的配置

下载Android Studio (https://developer.android.com/studio/index.html?hl=zh-cn

 安卓SDK的下载

下载完Android Studio后直接在Android  的设置页面勾选要安装的SDK 即可

另外需要配置下环境变量,参考地址:https://developer.android.com/studio/intro/index.html

 

爬虫框架的安装

pyspidei 的安装

  • 官方文档:http://docs.pyspider.org/
  • PyPi:https://pypi.python.org/pypi/pyspider
  • GitHub:https://github.com/binux/pyspider
  • 官方教程:http://docs.pyspider.org/en/latest/tutorial
  • 在线实例:http://demo.pyspider.org

准备工作:pyspider 是支持javascript 渲染的,而且这个过程依赖于PhantomJS   所以需要先安装PhantomJS 

使用pip 安装

pip3 install pyspider

验证安装:

命令行执行

pyspider all

在浏览器中输入http://localhost:5000/

 

posted @ 2019-03-03 15:12  张_俊_杰  阅读(1759)  评论(0编辑  收藏  举报