selenium实现google浏览器无头爬取信息
使用selenium爬取信息,可以实现浏览器自动化操作,模拟用户的各种真是操作行为。
可以实现浏览器无头(无可视化界面)访问获取页面数据,并且规避被检测风险,添加代码如下:
#浏览器自动化模块
from selenium import webdriver
#实现无可视化界面
from selenium.webdriver.chrome.options import Options
#实现规避检测
from selenium.webdriver import ChromeOptions
#无可视化界面的代码操作
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argumnet('--disable-gpu')
#实现规避检测
option = ChromeOptions()
option.add_experimental_option('excludeSwitches',['enable-automation'])
#实现selenium规避被检测
brower = webdriver.Chrome(executable_path='./chromedriver', chrome_options=chrome_options, options=option)
#无可视化页面(无头浏览器)
brower.get('https://www.baidu.com')
print(brower.page_source)
brower.quit()
作者:Jace Jin
github地址:https://github.com/buxianghua
原创文章版权归作者所有.
欢迎转载,转载时请在文章页面明显位置给出原文连接,否则保留追究法律责任的权利.
欢迎转载,转载时请在文章页面明显位置给出原文连接,否则保留追究法律责任的权利.