【selenium】利用selenium进行爬虫时,防止js检测驱动的方法

浏览器前端通常会做一下反爬虫的手段,如下

webdriver = window.navigator.webdriver;
if(webdriver){    
console.log('你这个傻逼你以为使用Selenium模拟浏览器就可以了?')
} else {    
console.log('正常浏览器')
}

如何利用爬虫针对js代码的反爬手段进行规避,以谷歌浏览器为例,进行设置,代码如下

from selenium import webdriver
option = webdriver.ChromeOptions() option.add_experimental_option('excludeSwitches', ['enable-automation']) driver = webdriver.Chrome(options=option)
posted @ 2020-01-06 21:32  只宅不技术  阅读(1815)  评论(0编辑  收藏  举报