Scrapy对接Selenium

首先pip安装selenium，然后下载浏览器驱动

 

WebDrive下载地址

chrome的webdriver：http://chromedriver.storage.googleapis.com/index.html

Firefox Firefox驱动下载地址为：https://github.com/mozilla/geckodriver/releases/

根据操作系统，以及浏览器版本，下载相应的驱动，并将下载的webdriver的路径设置到环境变量中

 

 

 将下载好的zip解压出来、直接将里面的exe文件放到运行环境的目录下即可

 

 

 

简单使用

在中间件进行操作，不去调用下载器，直接返回一个response对象

导入包：from selenium import webdriver

 

 

 

无窗口模式

再导入一个包：from selenium.webdriver.chrome.options import Options