Xpath定位---详细篇
一、xpath的定义
Xpath(XML path language)是一门在xml文档中查找信息的语言,可用来在xml文档中对元素和属性进行遍历。
Xpath定位在爬虫和自动化测试用用例中都比较常见,通过使用路径表达式来选取XML文档中的节点或者节点集,熟悉掌握xpath可以极大的提高提取数据的效率。
因为Xpath 解析数据,是基于元素Element的属性结构,所以血虚xpath前,先了解一下html的结构及常用标签。
基本标签:
标题:<h1> <h2> <h3> <h4>
段落:<p>
链接:<a>
图像:<img>
样式:<style>
<列表>: 无序列表<ul> 有序列表<ol> 列表项 <li>
块: <div> <span>
脚本:<script>
注释: <!--注释-->
Xpath表达式学习:
常用的表达式:
表达式 描述
nodename 选取此节点的所有子节点
/ 从根节点开始选取,绝对路径定位
// 从符合条件的元素开始,而不考虑他们的位置。相对路径定位
. 选取当前节点
.. 选取当前节点的父节点
@ 选取属性
实例:
路径表达式 | 结果 |
---|---|
bookstore | 选取 bookstore 元素的所有子节点。 |
/bookstore |
选取根元素 bookstore。 注释:假如路径起始于正斜杠( / ),则此路径始终代表到某元素的绝对路径! |
bookstore/book | 选取属于 bookstore 的子元素的所有 book 元素。 |
//book | 选取所有 book 子元素,而不管它们在文档中的位置。 |
bookstore//book | 选择属于 bookstore 元素的后代的所有 book 元素,而不管它们位于 bookstore 之下的什么位置。 |
//@lang | 选取名为 lang 的所有属性。 |
谓语:
谓语用来查找某个特定的节点或者包含某个指定的值的节点
谓语被嵌入在方括号中。
实例:
在下面的表格中,我们列出了带有谓语的一些路径表达式,以及表达式的结果
路径表达式 | 结果 |
/bookstore/book[1] | 选取bookestore子元素的第一个book元素 |
/bookstore/book[last()] | 选取bookstore子元素的最后一个book元素 |
/bookstore/book[last()-1] | 选取属于bookstore子元素的倒数第二个元素 |
/bookstore/book[position()<3] | 选取属于bookstore元素的前两个book元素 |
//title[@lang] | 选取所有拥有名为lang的属性的title元素 |
//title[@lang='eng'] | 选取所有title元素,且这些元素拥有值为eng的lang属性 |
/bookstore/book[price>35.00] | 选取bookstore元素的所有book元素,且其中的price元素的值需大于35.00 |
/bookstore/book[price>35.00]/title | 选取bookstore元素中的book元素的所有title元素,且其中的price元素的值必须大于35.00 |
通配符:
通配符 | 描述 |
* | 匹配任何元素节点 |
@ | 匹配任何属性节点 |
二、xpath常用的定位方式
1、元素属性,快速定位,唯一属性: //*[@id='images']
2、层级与属性相结合,解决没有属性问题://div[@id='images']/a[1]
3、属性与逻辑相结合,解决多个属性重名问题
//*[@id='su' and @class='bg s_btn']
注意:
1)表达式中的下表都是从1 开始的
2)绝对路径定位是以 '/' 开头,相对路径定位以 ‘//’开头,不依赖页面的元素书顺序和位置,根据条件进行匹配,优先使用相对定位
学习Xpath本质就是掌握各种表达式的技巧,除了上述说到方法外,还有一些特别的定位方式:
4、contains():
查找 id 属性的值包含 ‘kw’的元素: //*[caontains(@id,'kw')]
5、text() :
查找文本里包含‘新闻’的元素://*[contains(text(),'新闻')]
6、start-with():
查找class属性中开始位置包含 's_form_wrapper'关键字的元素:
//*[starts-with(@class,'s_form_wrapper')]
7、使用多个相对路径去定位一个元素//分开:
//div[@class='formgroup']//input[@id='user_message']
8、轴定位:
轴定位使用 ::表示
查找id="head" 元素后面标签名为input的第一个元素
//*[@id="head"]//following::input[1]
//[@class='container-fluid']//ancestor::div
9、'and' 'or' 多属性匹配时需要使用
and 取同时满足多个条件语句的元素
or 取满足其中一个条件语句的元素
//[@id="user-message" and @class="form-control"]
//[@id="user-message" or @class="form-control"]
三、xpath 常用的函数
contains()
text()
starts-with()
其他函数见链接:https://www.w3school.com.cn/xpath/xpath_functions.asp