爬虫之selenium的安装篇

linux系统安装（默认安装成功python3）

1.安装selenium

pip install selenium

2.浏览器驱动安装

谷歌驱动地址：http://chromedriver.storage.googleapis.com/index.html（需要和谷歌浏览器版本对应）
火狐驱动地址：https://github.com/mozilla/geckodriver/releases/


wget https://github.com/mozilla/geckodriver/releases/download/v0.23.0/geckodriver-v0.23.0-linux64.tar.gz
tar -xvzf geckodriver-v0.23.0-linux64.tar.gz
chmod +x geckodriver
sudo mv geckodriver /usr/local/bin/

1.进入github选择相对应的浏览器驱动安装进行下载
2.解压，给与执行权限
3.添加到linux系统环境中

window系统安装（默认安装成功python3）

1.安装selenium

pip install selenium （可能通过科学上网安装成功率比较高）

2.浏览器驱动安装

谷歌驱动地址：http://chromedriver.storage.googleapis.com/index.html（需要和谷歌浏览器版本对应）
火狐驱动地址：https://github.com/mozilla/geckodriver/releases/

下载对应的浏览器驱动，将解压得到的exe文件放到python的安装目录下即可；

安装测试代码

from selenium import webdriver
import time

brower = webdriver.Firefox()
brower.get("http://www.baidu.com")

brower.find_element_by_id('kw').send_keys('selenium')
brower.find_element_by_id('su').click()

time.sleep(3)
print(brower.current_url)

brower.quit()

常见错误

selenium.common.exceptions.WebDriverException: Message: 'geckodriver' executable needs to be in PATH.

表示geckodriver没有安装成功。
也可以指定目录，例如指定在当前路径下。

brower = webdriver.Firefox(executable_path='./geckodriver')
这是linux系统安装常见的问题，主要就是系统找不到浏览器驱动程序，环境配置问题

无头参数

rom selenium import webdriver
from selenium.webdriver.firefox.options import Options
import time
options = Options()
options.add_argument('-headless') # 无头参数
brower = webdriver.Firefox(firefox_options=options)
brower.get("http://www.baidu.com")

brower.find_element_by_id('kw').send_keys('selenium')
brower.find_element_by_id('su').click()

time.sleep(3)
print(brower.current_url)
brower.quit()

总结

1. 安装selenium时经常碰到安装中断，在尝试使用科学上网后，安装成功率提升
2. 安装浏览器驱动程序时，linux系统安照步骤几乎没有出错，一次成功。而在window系统中还需把浏览器驱动程序（exe文件）放在python的安装目录下