Python3利用Chrome的--headless爬取动态页面内容(推荐)
Python3利用Chrome的--headless爬取动态页面内容(推荐)
利用Chrome浏览器的--headless爬取页面的动态内容:
1,下载与浏览器匹配的chromdriver.exe,并将文件拷贝到python的Scripts的目录下(已配置环境变量path的);
2,示例:
from selenium import webdriver from selenium.webdriver.chrome.options import Options def getevfromtt(code): try: chrome_options = webdriver.ChromeOptions() chrome_options.add_argument('--headless') driver = webdriver.Chrome(chrome_options=chrome_options) driver.get("http://fund.eastmoney.com/" + code + ".html") driver.execute_script("window.scrollTo(0,document.body.scrollHeight);") #将页面拉到底部 ljkq_btn = driver.find_elements_by_class_name("ip_tips_btn")[0] if ljkq_btn is not None: ljkq_btn.find_element_by_tag_name("span").click() time.sleep(0.5) ev = driver.find_element_by_id("gz_gsz").text ev_change = driver.find_element_by_id("gz_gszzl").text if ev=="--": ev = 0.0000 driver.quit() logger.info("getevfromtt>>:获取成功") return ev, change_percent(ev_change) except BaseException as e: logger.info("getevfromtt>>:获取异常"+e) return "", "" if __name__ == "__main__": getevfromtt('340007');
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· SQL Server 2025 AI相关能力初探
· Linux系列:如何用 C#调用 C方法造成内存泄露
· AI与.NET技术实操系列(二):开始使用ML.NET
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· SQL Server 2025 AI相关能力初探
· AI编程工具终极对决:字节Trae VS Cursor,谁才是开发者新宠?
· 开源Multi-agent AI智能体框架aevatar.ai,欢迎大家贡献代码
· Manus重磅发布:全球首款通用AI代理技术深度解析与实战指南