selenium爬虫2

无头浏览器简介

无头浏览器（Headless Browser）是一种没有图形用户界面的浏览器，它在后台运行，不会显示任何窗口或界面。无头浏览器通常用于自动化任务，如网页抓取、自动化测试和性能监控等。

爬取票房

比如我要爬取上图的2008--2024年的热门电影票房排名

from selenium import webdriver
from selenium.webdriver.common.by import By
import time
from selenium.webdriver.support.ui import Select
from selenium.webdriver.chrome.options import Options

options = Options()# 添加配置
options.add_argument('--headless')
options.add_argument('--disable-gpu')
# 初始化浏览器驱动
driver = webdriver.Chrome(options=options)
# 打开
driver.get("http://www.endata.com.cn/BoxOffice/BO/Year/index.html")
sel_el=driver.find_element(By.XPATH,'/html/body/section/div/div[2]/div/div/div[1]/select') # 定位select标签
sel=Select(sel_el)
for s in range(len(sel.options)):
    sel.select_by_index(s)
    time.sleep(1.5)
    table=driver.find_element(By.XPATH,'//*[@id="TableList"]/table')
    print(table.text)
input("Enter to quit")
driver.quit()

--headless

含义：--headless 选项用于启用无头模式。
作用：当这个选项被添加到浏览器启动参数中时，浏览器将以无头模式运行，即没有图形用户界面（GUI）。这意味着浏览器不会显示任何窗口或界面，但仍然可以执行所有正常的浏览器操作，例如加载页面、执行 JavaScript 等。
用途：无头模式特别适合用于自动化测试、网页抓取和服务器环境下的任务，因为它更高效且不需要显示图形界面。

--disable-gpu

含义：--disable-gpu 选项用于禁用 GPU 硬件加速。
作用：某些情况下，无头模式下的浏览器可能会遇到与 GPU 硬件加速相关的问题。通过禁用 GPU，可以避免这些潜在的问题，确保浏览器在无头模式下稳定运行。
用途：虽然现代浏览器在无头模式下通常会自动处理 GPU 问题，但显式地禁用 GPU 可以增加兼容性，特别是在不同的操作系统和硬件配置上。

关于下拉菜单

网页上的下拉菜单的html代码：

select_by_index(self,index) #按选项索引选择，从零开始
select_by_value(self,value) #按选项标签的value属性值选择，上面是2008、2009、2010等
select_by_visilbe_text(self,text) #按下拉选项option标签的内容选择，如2022年、2020年

效果

posted @ 2024-08-29 19:09 积分别忘C 阅读(14) 评论(0) 编辑收藏举报

刷新页面返回顶部