selenium爬取网页内容知识点总结（代码均亲测可用）

1.selenium获取网页iframe内容

语法：driver.switch_to.frame(iframe)

①通过tag_name

driver.get(url)
#该iframe为页面的第几个iframe
iframe = driver.find_elements_by_tag_name('iframe')[0]
driver.switch_to.frame(iframe)

 

②通过iframe的id或class_name

iframe = driver.find_element_by_id("iframe1")
#iframe = driver.find_element_by_class_name("iframe1")
driver.switch_to.frame(iframe)

 

2.selenium控制鼠标悬停在某个位置

#导包
from selenium.webdriver.common.action_chains import ActionChains

#ActionChains中的函数
click(on_element=None) 　　                                 #单击鼠标左键
click_and_hold(on_element=None) 　　                        #点击鼠标左键，按住不放
context_click(on_element=None)                             #点击鼠标右键
double_click(on_element=None)                              #双击鼠标左键
drag_and_drop(source, target)                              #拖拽到某个元素然后松开
drag_and_drop_by_offset(source, xoffset, yoffset)          #拖拽到某个坐标然后松开
move_by_offset(xoffset, yoffset)                           #鼠标移动到距离当前位置（x,y）
move_to_element(to_element)                                #鼠标移动到某个元素
move_to_element_with_offset(to_element, xoffset, yoffset)  #将鼠标移动到距某个元素多少距离的位置
release(on_element=None)                                   #在某个元素位置松开鼠标左键
perform()                                                  #执行链中的所有动作

 实例：

#定位元素位置，可通过xpath、id、tag_name、class_name、selector等
container= driver.find_element_by_xpath('//*[@id="container"]/div[1]')
ActionChains(driver).move_to_element(canvas).perform

 

3.selenium获取网页中style display:none的元素

 在UI自动化测试中，有时因为前端元素被设置为不可见导致页面元素无法定位，此时，我们可以通过JavaScript修改页面元素属性来将元素设为可见。

#首先通过selenium封装好的方法document去获取元素，document提供以下方法来定位元素：
#    ①getElementById()：返回对指定ID第一个对象的引用
#    ②getElementsByName() ：返回带有指定名称的对象集合
#    ③getElementsByTagName()：返回带有指定标签名的对象集合
#此次我们通过元素id获取该元素
js = "document.getElementById("table1").style.display='block';"
#执行js脚本
driver.execute_script(js)

 

4.selenium爬取网页时修改网页某元素属性

#document获取原色可参考上一条，
js='document.querySelector("#container > div:nth-child(2)").style.left="500px"'
driver.execute_script(js)

 

document的querySeletor和querySelectorAll的区别：

　　querySelector只返回匹配的第一个元素，如果没有匹配项，返回null。 

　　querySelectorAll返回匹配的元素集合，如果没有匹配项，返回空的nodelist(节点数组)。

　　例如：找出body标签下的第一个div

document.body.querySelectorAll("div")[0]