打赏

selenium实现google浏览器无头爬取信息

使用selenium爬取信息,可以实现浏览器自动化操作,模拟用户的各种真是操作行为。

可以实现浏览器无头(无可视化界面)访问获取页面数据,并且规避被检测风险,添加代码如下:

#浏览器自动化模块
from selenium import webdriver
#实现无可视化界面
from selenium.webdriver.chrome.options import Options
#实现规避检测
from selenium.webdriver import ChromeOptions

#无可视化界面的代码操作
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argumnet('--disable-gpu')
#实现规避检测
option = ChromeOptions()
option.add_experimental_option('excludeSwitches',['enable-automation'])
#实现selenium规避被检测
brower = webdriver.Chrome(executable_path='./chromedriver', chrome_options=chrome_options, options=option)

#无可视化页面(无头浏览器)
brower.get('https://www.baidu.com')

print(brower.page_source)

brower.quit()

 

posted @   不像话  阅读(208)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 10年+ .NET Coder 心语 ── 封装的思维:从隐藏、稳定开始理解其本质意义
· 【设计模式】告别冗长if-else语句:使用策略模式优化代码结构
· 提示词工程——AI应用必不可少的技术
· 字符编码:从基础到乱码解决
· 地球OL攻略 —— 某应届生求职总结
点击右上角即可分享
微信分享提示