chrome浏览器爬虫WebDriverException解决采用python + selenium + chrome + headless模式

WebDriverException: Message: unknown error: Chrome failed to start: crashed

 

第一种：如果出现下面情况：

 

• chrome浏览器有，并且版本也和chromedriver的契合
• 最近卸载过chrome浏览器，并且重新装过了
• 无论怎么看，都是正常的

 

如果有以上情况可能存在版本冲突，两个版本的chrome（我之前就出现过），或者版本不对应，一直出现 Chrome failed to start: crashed

 

解决方案

 

删除：c:\Users(自己的用户名)\AppData\Local\Google\Chrome\

有界面形式：

import time
from selenium import webdriver
path=r'D:\Anaconda_home\Anaconda3\envs\tensorflow_gpu\Scripts\chromedriver.exe'
browser = webdriver.Chrome(executable_path=path)#说明chromedriver.exe的地址
browser.set_window_size(1920, 1080)
browser.get('https://www.baidu.com/')
browser.get('https://www.taobao.com/')
browser.get('https://www.python.org/')
browser.back()
time.sleep(1)
browser.forward()
browser.close()

第二种：采用以下：

 

1. 背景
在使用selenium + chrome浏览器渲染模式爬取数据时，如果并发任务过多，或者爬虫的运行时间很长，那么很容易出现浏览器崩溃的现象，如下：

这一般是资源消耗过大造成的（据说chrome浏览器有内存泄漏的情况）。那如何解决这个问题呢？

这种情况下，我们首先就会想到使用无界面的浏览器PhantomJS，但是PhantomJS现在年久失修，后继无人，对很多新的特性支持并不够好。不过好在Google今年在chrome中增加了一项新的特性： Headless mode ，这样我们就可以使用无界面的chrome来爬取数据了，占用资源更少，速度更快。而且可喜的是，google的团队承诺会一直维护它…

2. 环境
系统：win10
python 3.6.5
IDE：jupyter notebook
安装过chrome浏览器（ 75.0.3770.100（正式版本） 64 位）
selenium 3.7.0
配置好ChromeDriver v2.46 

注意：

因为Headless mode 是新推出的特性，只有高级的版本才能使用，并不向前兼容，所以对chrome浏览器和chromedriver的版本有要求：
1. 对chrome浏览器来说：
linux，unix系统需要 chrome浏览器 >= 59
Windows系统需要 chrome浏览器 >= 60
2. chromeDriver版本与chrome浏览器匹配：
这个部分参考文章：https://www.cnblogs.com/gaofighting/p/10757013.html；最新下载：http://npm.taobao.org/mirrors/chromedriver/

无界面后台静默运行代码：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.keys import Keys

chrome_options = webdriver.ChromeOptions()
# 使用headless无界面浏览器模式
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')

# 启动浏览器，获取网页源代码
browser = webdriver.Chrome(options=chrome_options)
mainUrl = "https://www.taobao.com/"
browser.get(mainUrl)
print(f"browser text = {browser.page_source}")
browser.get_screenshot_as_file("test.png")#获取截图
browser.quit()