打赏

selenium实现google浏览器无头爬取信息

使用selenium爬取信息,可以实现浏览器自动化操作,模拟用户的各种真是操作行为。

可以实现浏览器无头(无可视化界面)访问获取页面数据,并且规避被检测风险,添加代码如下:

#浏览器自动化模块
from selenium import webdriver
#实现无可视化界面
from selenium.webdriver.chrome.options import Options
#实现规避检测
from selenium.webdriver import ChromeOptions

#无可视化界面的代码操作
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argumnet('--disable-gpu')
#实现规避检测
option = ChromeOptions()
option.add_experimental_option('excludeSwitches',['enable-automation'])
#实现selenium规避被检测
brower = webdriver.Chrome(executable_path='./chromedriver', chrome_options=chrome_options, options=option)

#无可视化页面(无头浏览器)
brower.get('https://www.baidu.com')

print(brower.page_source)

brower.quit()

 

posted @ 2023-03-08 11:06  不像话  阅读(198)  评论(0编辑  收藏  举报