Fork me on GitHub

selenium学习笔记

selenium主要解决浏览器中javascript渲染问题而存在的,有时我们爬取过来的网页内容与实际看到的内容是由差别的,这很有可能就是一些数据是由javascript渲染出来的,如何解决这个问题呢?这时可以引入selenium。

1、申明浏览器对象

from selenium import webdriver
browser=webdriver.Chrome() #使用的是谷歌浏览器

2、访问页面

from selenium import webdriver
browser=webdriver.Chrome()
browser.get('http://www.baidu.com')
print(browser.page_source)
browser.close()

3、查找元素

(1)单个元素

from selenium import webdriver
browser=webdriver.Chrome()
browser.get('http://www.baidu.com')
input1=browser.find_element_by_id('kw')
input2=browser.find_element_by_css_selector('#kw')
print(input1)
print(input2)
​
​
​
<selenium.webdriver.remote.webelement.WebElement (session="a6863d25dddac550ffb19510f845b387", element="0.9031221091084045-1")>
<selenium.webdriver.remote.webelement.WebElement (session="a6863d25dddac550ffb19510f845b387", element="0.9031221091084045-1")>

另外还有一些其它的查找方法:

find_element_by_name
find_element_by_xpath
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector

(2)多个元素

from selenium import webdriver
browser=webdriver.Chrome()
browser.get('http://www.taobao.com')
li_list=browser.find_elements_by_css_selector('.service-bd li')
print(li_list)

得到的是一个列表,内部都是一个个的selenium.webdriver.remote.webelement.WebElement,对个元素的获取以单个元素获取方法无非就是把element变成elements。其方法如下:

find_elements_by_name
find_elements_by_xpath
find_elements_by_link_text
find_elements_by_partial_link_text
find_elements_by_tag_name
find_elements_by_class_name
find_elements_by_css_selector

4、元素交互操作

from selenium import webdriver
browser=webdriver.Chrome()
browser.get('http://www.baidu.com')
input=browser.find_element_by_id("kw") #找到input框
input.send_keys('book')#给input框赋值
button=browser.find_element_by_id('su')#找到提交按钮
button.click()#点击提交按钮
input.clear()#清空input框中的内容
input.send_keys('car')
button.click()

详情查看:https://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.remote.webelement

5、执行javascript

from selenium import webdriver
browser=webdriver.Chrome()
browser.get('http:www.baidu.com')
browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')

6、获取元素信息

(1)获取元素属性

from selenium import webdriver
browser=webdriver.Chrome()
browser.get('http:www.baidu.com')
input=browser.find_element_by_id('kw') #获取input框元素
attr=input.get_attribute('name')#获取input框的name属性
print(attr)

(2)获取元素的文本值

from selenium import webdriver
browser=webdriver.Chrome()
browser.get('http://www.baidu.com')
a=browser.find_element_by_class_name('mnav')
print(a.text) #新闻

(3)获取ID、位置、标签名、大小

from selenium import webdriver
browser=webdriver.Chrome()
browser.get('http://www.baidu.com')
a=browser.find_element_by_class_name('mnav')
print(a.id) 
print(a.location)
print(a.tag_name)
print(a.size)



0.19765672261551392-1
{'x': 554, 'y': 19}
a
{'width': 26, 'height': 24}

7、等待

(1)隐式等待

当使用了隐式等待执行测试的时候,如果 WebDriver没有在 DOM中找到元素,将继续等待,超出设定时间后则抛出找不到元素的异常, 换句话说,当查找元素或元素并没有立即出现的时候,隐式等待将等待一段时间再查找 DOM,默认的时间是0

from selenium import webdriver
browser=webdriver.Chrome()
browser.implicitly_wait(5)#设置时间
browser.get('http://www.baidu.com')
a=browser.find_element_by_class_name('mnav')
print(a)

(2)显式等待

显式等待提供比隐式等待更好的选项,因为它将等待动态加载的Ajax元素。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

browser = webdriver.Chrome()
browser.get('https://www.baidu.com/')
wait = WebDriverWait(browser, 5)
input = wait.until(EC.presence_of_element_located((By.ID, 'kw')))
button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#su')))
print(input, button)
title_is 标题是某内容
title_contains 标题包含某内容
presence_of_element_located 元素加载出,传入定位元组,如(By.ID, 'p')
visibility_of_element_located 元素可见,传入定位元组
visibility_of 可见,传入元素对象
presence_of_all_elements_located 所有元素加载出
text_to_be_present_in_element 某个元素文本包含某文字
text_to_be_present_in_element_value 某个元素值包含某文字
frame_to_be_available_and_switch_to_it frame加载并切换
invisibility_of_element_located 元素不可见
element_to_be_clickable 元素可点击
staleness_of 判断一个元素是否仍在DOM,可判断页面是否已经刷新
element_to_be_selected 元素可选择,传元素对象
element_located_to_be_selected 元素可选择,传入定位元组
element_selection_state_to_be 传入元素对象以及状态,相等返回True,否则返回False
element_located_selection_state_to_be 传入定位元组以及状态,相等返回True,否则返回False
alert_is_present 是否出现Alert

详情查看:https://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.support.expected_conditions

8、前进后退

from selenium import webdriver
import time
browser=webdriver.Chrome()
browser.get('http://www.baidu.com')
browser.back() #后退
time.sleep(2)
browser.forward()#前进

9、Cookies

from selenium import webdriver

browser=webdriver.Chrome()
browser.get('http://www.baidu.com')
print(browser.get_cookies()) #获取cookie
browser.add_cookie({'name': 'name'}) #添加cookie
print(browser.get_cookies())
browser.delete_all_cookies() #删除cookie
print(browser.get_cookies())

10、选项卡管理

import time
from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
browser.execute_script('window.open()')
print(browser.window_handles)
browser.switch_to_window(browser.window_handles[1])
browser.get('https://www.zhihu.com')
time.sleep(1)
browser.switch_to_window(browser.window_handles[0])
browser.get('https://python.org')

11、异常处理

from selenium import webdriver
from selenium.common.exceptions import TimeoutException, NoSuchElementException

browser = webdriver.Chrome()
try:
    browser.get('https://www.taobao.com')
except TimeoutException:
    print('请求超时')
try:
    browser.find_element_by_id('ghk')
except NoSuchElementException:
    print('该元素不存在')
finally:
    browser.close()


##该元素不存在

 

posted @ 2019-05-25 11:43  iveBoy  阅读(334)  评论(0编辑  收藏  举报
TOP