【Python3 爬虫】U35_selenium隐式等待和显示等待

目录

• 1.隐式等待
• 2.显示等待
• 3.实战演练
  • 3.1 隐式等待案例
  • 3.2 显示等待案例

现在的网页越来越多采用了 Ajax 技术，这样程序便不能确定何时某个元素完全加载出来了。如果实际页面等待时间过长导致某个dom元素还没出来，但是你的代码直接使用了这个WebElement，那么就会抛出NullPointer的异常。为了解决这个问题。所以 Selenium 提供了两种等待方式：一种是隐式等待、一种是显式等待。

1.隐式等待

调用driver.implicitly_wait。那么在获取不可用的元素之前，会先等待10秒中的时间。示例代码如下

driver = webdriver.Chrome(executable_path=driver_path)
driver.implicitly_wait(10)
# 请求网页
driver.get("https://www.douban.com/")

2.显示等待

显示等待是表明某个条件成立后才执行获取元素的操作。也可以在等待的时候指定一个最大的时间，如果超过这个时间那么就抛出一个异常。显示等待应该使用selenium.webdriver.support.excepted_conditions期望的条件和selenium.webdriver.support.ui.WebDriverWait来配合完成。示例代码如下：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
 
driver = webdriver.Firefox()
 
driver.get("http://somedomain/url_that_delays_loading")
 
try:
 
    element = WebDriverWait(driver, 10).until(
 
        EC.presence_of_element_located((By.ID, "myDynamicElement"))
 
    )
 
finally:
 
    driver.quit()

一些其他的等待条件：

• presence_of_element_located：某个元素已经加载完毕了。
• presence_of_all_emement_located：网页中所有满足条件的元素都加载完毕了。
• element_to_be_cliable：某个元素是可以点击了。

更多条件参考：http://selenium-python.readthedocs.io/waits.html

3.实战演练

3.1 隐式等待案例

from selenium import webdriver

# chromedriver的绝对路径
driver_path = r'D:\Python\chromedriver.exe'

# 初始化一个driver，并且指定chromedriver的路径
driver = webdriver.Chrome(executable_path=driver_path)

# 请求网页
driver.get("https://www.baidu.com/")

# 隐式等待
driver.implicitly_wait(20)

driver.find_element_by_id("sasasas")

运行代码后我们会发现，程序不会立马报错，会等待20s后才报错。

3.2 显示等待案例

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

# chromedriver的绝对路径
driver_path = r'D:\Python\chromedriver.exe'

# 初始化一个driver，并且指定chromedriver的路径
driver = webdriver.Chrome(executable_path=driver_path)

# 请求网页
driver.get("https://www.baidu.com/")

# 显示等待
element = WebDriverWait(driver, 20).until(
    EC.presence_of_element_located((By.ID, "kw"))
)
print(element)

运行程序后可以发现，当条件成立的时候，程序不会等待20s，直接就打印获取到的元素了。如果不成立，那么程序会等待20s后才打印错误。