selenium页面搜索批量抓取
selenium页面搜索批量抓取:
from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait #等待一个元素加载完成 from selenium.webdriver.support import expected_conditions as EC import time driver=webdriver.Chrome() #配置参数 driver.get("https://www.baidu.com") driver.implicitly_wait(10) #控制操作的时间,在10秒之内,如果元素出现,就继续执行,元素没有出现最多10秒 driver.find_element_by_id("kw").send_keys(u"python 培训") #注意 这里批量抓取 elements 加了s,不加会报错 可理解为发现多个元素 s为复数 texts=driver.find_elements_by_xpath("//div/h3/a") for text in texts: print(text.text) time.sleep(20) driver.close()
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· AI与.NET技术实操系列(二):开始使用ML.NET
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识(上)
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析
· DeepSeek 开源周回顾「GitHub 热点速览」
· 物流快递公司核心技术能力-地址解析分单基础技术分享
· .NET 10首个预览版发布:重大改进与新特性概览!
· AI与.NET技术实操系列(二):开始使用ML.NET
· 单线程的Redis速度为什么快?