python爬虫之selenium,谷歌无头浏览器

python爬虫之selenium和PhantomJS

主要的内容

​ selenium

​ phantomjs

谷歌无头浏览器

​ 图片的懒加载

一 什么是selenium?

介绍

它是python中的一个第三方库，对外提供的接口可以操作浏览器，然后让浏览器完成自动化的操作。

安装

pip install selenium

！！！这里需要注意的是：要是安装了还是无法使用这个模块

报这个错误的时候，那么步骤如下

1 进入到Anaconda Navigator这个软件

2 进入之后,点击base中的第一个 进入终端

3 进入该界面，在进行下载pip install selenium

4 在次去使用 就不会报错啦！！！！

如何使用selenium 进行操作呢？

1 获取某一款浏览器的驱动程序（这里我以谷歌浏览器为例）

​ 谷歌浏览器的驱动下载地址：

http://chromedriver.storage.googleapis.com/index.html

2 如何选择版本号下载，这里下载的驱动程序必须和浏览器的版本统一，可以通过这个网址中提供的版本映射表进行对应

先查看自己谷歌浏览器中的版本信息，然后通过映射表进行相应的下载即可

http://blog.csdn.net/huilan_same/article/details/51896672

需求 使用selenium打开百度

from selenium import webdriver
from time import sleep
#驱动路径 记得前面加r 防止字符转义
#!!!注意这里必须把驱动程序中的路径写完整，后面必须加上这个chromedriver.exe  否则会报错 执行不成功
driver = webdriver.Chrome('C:\pacong_data\day3\chromedriver.exe')
#用driver打开百度页面  后面的地址是百度的地址
driver.get('http://www.baidu.com')
# 查找页面的“设置”选项，发送一个你要搜索的值，并进行点击
driver.find_element_by_id('kw').send_keys('人民币')
sleep(2)
#并进行点击
driver.find_element_by_id('su').click()
sleep(2)
#退出驱动程序
driver.quit()



#使用下面的方法，查找指定的元素进行操作即可
    find_element_by_id            根据id找节点
    find_elements_by_name         根据name找
    find_elements_by_xpath        根据xpath查找
    find_elements_by_tag_name     根据标签名找
    find_elements_by_class_name   根据class名字查找

二 phantomjs

PhantomJS是一款无界面的浏览器，其操作与上述的操作基本上是一致的，由于无界面，为了我们能够清楚的看到她的自动化操作流程，它为用户提供了一个截屏的功能，使用save_screenshot函数实现。

phantomjs实现无界面的操作

from selenium import webdriver
import time

#PhantomJS是一个无头界面的浏览器
#!!!!注意这里的路径是PhantomJS存放的路径
browser = webdriver.PhantomJS(r'C:\pacong_data\day3\phantomjs-2.1.1-windows\bin\phantomjs.exe')

url ='http://www.baidu.com/'
browser.get(url)
time.sleep(3)

#进入百度界面    然后截屏
browser.save_screenshot(r'phantomjs\baidu.png')


bd_input = browser.find_element_by_id('kw').send_keys('小猪配齐')
#在此截屏
browser.save_screenshot(r'phantomjs\xiaozhu.png')
time.sleep(3)

bd_sous = browser.find_element_by_id('su').click()
在此截屏
browser.save_screenshot(r'phantomjs\sous.png')
time.sleep(3)

browser.quit()

谷歌无头浏览器（是一款无界面的浏览器）

import time
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

#这个是一个用来控制chrome以无界面模式打开的浏览器
#创建一个参数对象，用来控制chrome以无界面的方式打开
chrome_options = Options()
#后面的两个是固定写法 必须这么写
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')

#驱动路径 谷歌的驱动存放路径
path = r'C:\pacong_data\day3\chromedriver.exe'

#创建浏览器对象

browser = webdriver.Chrome(executable_path=path,chrome_options=chrome_options)

url ='http://www.baidu.com/'

browser.get(url)
time.sleep(3)
browser.save_screenshot('baid.png')

browser.quit()