selenium学习笔记
selenium主要解决浏览器中javascript渲染问题而存在的,有时我们爬取过来的网页内容与实际看到的内容是由差别的,这很有可能就是一些数据是由javascript渲染出来的,如何解决这个问题呢?这时可以引入selenium。
1、申明浏览器对象
from selenium import webdriver browser=webdriver.Chrome() #使用的是谷歌浏览器
2、访问页面
from selenium import webdriver browser=webdriver.Chrome() browser.get('http://www.baidu.com') print(browser.page_source) browser.close()
3、查找元素
(1)单个元素
from selenium import webdriver browser=webdriver.Chrome() browser.get('http://www.baidu.com') input1=browser.find_element_by_id('kw') input2=browser.find_element_by_css_selector('#kw') print(input1) print(input2) <selenium.webdriver.remote.webelement.WebElement (session="a6863d25dddac550ffb19510f845b387", element="0.9031221091084045-1")> <selenium.webdriver.remote.webelement.WebElement (session="a6863d25dddac550ffb19510f845b387", element="0.9031221091084045-1")>
另外还有一些其它的查找方法:
find_element_by_name
find_element_by_xpath
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector
(2)多个元素
from selenium import webdriver browser=webdriver.Chrome() browser.get('http://www.taobao.com') li_list=browser.find_elements_by_css_selector('.service-bd li') print(li_list)
得到的是一个列表,内部都是一个个的selenium.webdriver.remote.webelement.WebElement,对个元素的获取以单个元素获取方法无非就是把element变成elements。其方法如下:
find_elements_by_name
find_elements_by_xpath
find_elements_by_link_text
find_elements_by_partial_link_text
find_elements_by_tag_name
find_elements_by_class_name
find_elements_by_css_selector
4、元素交互操作
from selenium import webdriver browser=webdriver.Chrome() browser.get('http://www.baidu.com') input=browser.find_element_by_id("kw") #找到input框 input.send_keys('book')#给input框赋值 button=browser.find_element_by_id('su')#找到提交按钮 button.click()#点击提交按钮 input.clear()#清空input框中的内容 input.send_keys('car') button.click()
详情查看:https://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.remote.webelement
5、执行javascript
from selenium import webdriver browser=webdriver.Chrome() browser.get('http:www.baidu.com') browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')
6、获取元素信息
(1)获取元素属性
from selenium import webdriver browser=webdriver.Chrome() browser.get('http:www.baidu.com') input=browser.find_element_by_id('kw') #获取input框元素 attr=input.get_attribute('name')#获取input框的name属性 print(attr)
(2)获取元素的文本值
from selenium import webdriver browser=webdriver.Chrome() browser.get('http://www.baidu.com') a=browser.find_element_by_class_name('mnav') print(a.text) #新闻
(3)获取ID、位置、标签名、大小
from selenium import webdriver browser=webdriver.Chrome() browser.get('http://www.baidu.com') a=browser.find_element_by_class_name('mnav') print(a.id) print(a.location) print(a.tag_name) print(a.size) 0.19765672261551392-1 {'x': 554, 'y': 19} a {'width': 26, 'height': 24}
7、等待
(1)隐式等待
当使用了隐式等待执行测试的时候,如果 WebDriver没有在 DOM中找到元素,将继续等待,超出设定时间后则抛出找不到元素的异常, 换句话说,当查找元素或元素并没有立即出现的时候,隐式等待将等待一段时间再查找 DOM,默认的时间是0
from selenium import webdriver browser=webdriver.Chrome() browser.implicitly_wait(5)#设置时间 browser.get('http://www.baidu.com') a=browser.find_element_by_class_name('mnav') print(a)
(2)显式等待
显式等待提供比隐式等待更好的选项,因为它将等待动态加载的Ajax元素。
from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC browser = webdriver.Chrome() browser.get('https://www.baidu.com/') wait = WebDriverWait(browser, 5) input = wait.until(EC.presence_of_element_located((By.ID, 'kw'))) button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#su'))) print(input, button)
title_is 标题是某内容 title_contains 标题包含某内容 presence_of_element_located 元素加载出,传入定位元组,如(By.ID, 'p') visibility_of_element_located 元素可见,传入定位元组 visibility_of 可见,传入元素对象 presence_of_all_elements_located 所有元素加载出 text_to_be_present_in_element 某个元素文本包含某文字 text_to_be_present_in_element_value 某个元素值包含某文字 frame_to_be_available_and_switch_to_it frame加载并切换 invisibility_of_element_located 元素不可见 element_to_be_clickable 元素可点击 staleness_of 判断一个元素是否仍在DOM,可判断页面是否已经刷新 element_to_be_selected 元素可选择,传元素对象 element_located_to_be_selected 元素可选择,传入定位元组 element_selection_state_to_be 传入元素对象以及状态,相等返回True,否则返回False element_located_selection_state_to_be 传入定位元组以及状态,相等返回True,否则返回False alert_is_present 是否出现Alert
8、前进后退
from selenium import webdriver import time browser=webdriver.Chrome() browser.get('http://www.baidu.com') browser.back() #后退 time.sleep(2) browser.forward()#前进
9、Cookies
from selenium import webdriver browser=webdriver.Chrome() browser.get('http://www.baidu.com') print(browser.get_cookies()) #获取cookie browser.add_cookie({'name': 'name'}) #添加cookie print(browser.get_cookies()) browser.delete_all_cookies() #删除cookie print(browser.get_cookies())
10、选项卡管理
import time from selenium import webdriver browser = webdriver.Chrome() browser.get('https://www.taobao.com') browser.execute_script('window.open()') print(browser.window_handles) browser.switch_to_window(browser.window_handles[1]) browser.get('https://www.zhihu.com') time.sleep(1) browser.switch_to_window(browser.window_handles[0]) browser.get('https://python.org')
11、异常处理
from selenium import webdriver from selenium.common.exceptions import TimeoutException, NoSuchElementException browser = webdriver.Chrome() try: browser.get('https://www.taobao.com') except TimeoutException: print('请求超时') try: browser.find_element_by_id('ghk') except NoSuchElementException: print('该元素不存在') finally: browser.close() ##该元素不存在
作者:iveBoy
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须在文章页面给出原文连接,否则保留追究法律责任的权利。