selenium简介与安装

selenium的介绍

selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题

selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器

安装

pip3 install selenium

准备工作

1、下载Chrome浏览器

2、随后安装ChromeDriver。因为只有安装ChromeDriver，才能驱动Chrome浏览器完成相应的操作。下面我们来介绍下怎样安装ChromeDriver。

查看版本

点击Chrome菜单“帮助”→“关于Google Chrome”，即可查看Chrome的版本号

谷歌浏览器驱动要跟谷歌版本对应

下载谷歌浏览器驱动：http://npm.taobao.org/mirrors/chromedriver/

3、环境变量配置

下载完成后，将ChromeDriver的可执行文件配置到环境变量下。

在Windows下，建议直接将chromedriver.exe文件拖到Python的Scripts目录下

或者在代码中指定一下驱动的位置（相对路径/绝对路径）

browser = webdriver.Chrome(executable_path='./chromedriver')