Python爬虫_XPath

一、XPath介绍

XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。

XPath 是 W3C XSLT 标准的主要元素，并且 XQuery 和 XPointer 都构建于 XPath 表达之上。

因此，对 XPath 的理解是很多高级 XML 应用的基础。

1.1、什么是 XPath?

• XPath 使用路径表达式在 XML 文档中进行导航
• XPath 包含一个标准函数库
• XPath 是 XSLT 中的主要元素
• XPath 是一个 W3C 标准

1.2、XPath 路径表达式

XPath 使用路径表达式来选取 XML 文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。

1.3、XPath 标准函数

XPath 含有超过 100 个内建的函数。这些函数用于字符串值、数值、日期和时间比较、节点和 QName 处理、序列处理、逻辑值等等。

1.4、XPath 在 XSLT 中使用

XPath 是 XSLT 标准中的主要元素。如果没有 XPath 方面的知识，您就无法创建 XSLT 文档。

您可以在我们的《XSLT 教程》中阅读更多的内容。

XQuery 和 XPointer 均构建于 XPath 表达式之上。XQuery 1.0 和 XPath 2.0 共享相同的数据模型，并支持相同的函数和运算符。

您可以在我们的《XQuery 教程》中阅读更多有关 XQuery 的知识。

1.5、XPath 是 W3C 标准

XPath 于 1999 年 11 月 16 日 成为 W3C 标准。

XPath 被设计为供 XSLT、XPointer 以及其他 XML 解析软件使用。

您可以在我们的《W3C 教程》中阅读更多有关 XPath 标准的信息。

二、XPath的节点

2.1、什么是节点

节点（Node）

在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点。XML 文档是被作为节点树来对待的。树的根被称为文档节点或者根节点。

节点关系

父（Parent）

每个元素以及属性都有一个父。

在下面的例子中，book 元素是 title、author、year 以及 price 元素的父：

<book>
  <title>Harry Potter</title>
  <author>J K. Rowling</author>
  <year>2005</year>
  <price>29.99</price>
</book>

子（Children）

元素节点可有零个、一个或多个子。

在下面的例子中，title、author、year 以及 price 元素都是 book 元素的子：

<book>
  <title>Harry Potter</title>
  <author>J K. Rowling</author>
  <year>2005</year>
  <price>29.99</price>
</book>

同胞（Sibling）

拥有相同的父的节点

在下面的例子中，title、author、year 以及 price 元素都是同胞：

<book>
  <title>Harry Potter</title>
  <author>J K. Rowling</author>
  <year>2005</year>
  <price>29.99</price>
</book>

先辈（Ancestor）

某节点的父、父的父，等等。

在下面的例子中，title 元素的先辈是 book 元素和 bookstore 元素：

<bookstore>

<book>
  <title>Harry Potter</title>
  <author>J K. Rowling</author>
  <year>2005</year>
  <price>29.99</price>
</book>

</bookstore>

后代（Descendant）

某个节点的子，子的子，等等。

在下面的例子中，bookstore 的后代是 book、title、author、year 以及 price 元素：

<bookstore>

<book>
  <title>Harry Potter</title>
  <author>J K. Rowling</author>
  <year>2005</year>
  <price>29.99</price>
</book>

</bookstore>

三、XPath的语法

下面列出了最有用的路径表达式：

表达式	描述
nodename	选取此节点的所有子节点。
/	从根节点选取。
//	从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。
.	选取当前节点。
..	选取当前节点的父节点。
@	选取属性。

实例

 

路径表达式	结果
bookstore	选取 bookstore 元素的所有子节点。
/bookstore	选取根元素 bookstore。 注释：假如路径起始于正斜杠( / )，则此路径始终代表到某元素的绝对路径！
bookstore/book	选取属于 bookstore 的子元素的所有 book 元素。
//book	选取所有 book 子元素，而不管它们在文档中的位置。
bookstore//book	选择属于 bookstore 元素的后代的所有 book 元素，而不管它们位于 bookstore 之下的什么位置。
//@lang	选取名为 lang 的所有属性。

 

通配符

选取未知节点

XPath 通配符可用来选取未知的 XML 元素。

 

通配符	描述
*	匹配任何元素节点。
@*	匹配任何属性节点。
node()	匹配任何类型的节点。

    实例

路径表达式	结果
/bookstore/*	选取 bookstore 元素的所有子元素。
//*	选取文档中的所有元素。
//title[@*]	选取所有带有属性的 title 元素。

谓语

谓语用来查找某个特定的节点或者包含某个指定的值的节点。

谓语被嵌在方括号中。

使用中括号来限定元素，称为谓语

    //a[n] n为大于零的整数，代表子元素排在第n个位置的<a>元素

    //a[last()]   last()  代表子元素排在最后个位置的<a>元素

    //a[last()-]  和上面同理，代表倒数第二个

    //a[position()<3] 位置序号小于3，也就是前两个，这里我们可以看出xpath中的序列是从1开始

    //a[@href]    拥有href的<a>元素

    //a[@href='www.baidu.com']    href属性值为'www.baidu.com'的<a>元素

    //book[@price>2]   price值大于2的<book>元素

实例

路径表达式	结果
/bookstore/book[1]	选取属于 bookstore 子元素的第一个 book 元素。
/bookstore/book[last()]	选取属于 bookstore 子元素的最后一个 book 元素。
/bookstore/book[last()-1]	选取属于 bookstore 子元素的倒数第二个 book 元素。
/bookstore/book[position()<3]	选取最前面的两个属于 bookstore 元素的子元素的 book 元素。
//title[@lang]	选取所有拥有名为 lang 的属性的 title 元素。
//title[@lang='eng']	选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。
/bookstore/book[price>35.00]	选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值须大于 35.00。
/bookstore/book[price>35.00]/title	选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00。

多个路径

用| 连接两个表达式，可以进行 或匹配

//book/title | //book/price 

函数

xpath内置很多函数。更多函数查看https://www.w3school.com.cn/xpath/xpath_functions.asp

• contains(string1,string2)
• starts-with(string1,string2)
• ends-with(string1,string2) #不支持
• upper-case(string) #不支持
• text()
• last()
• position()
• node()

代码案例

from lxml import etree

wb_data="""
    <div>
        <ul>
            <li class="item-0"><a href="link1.html">first item</a></li>
            <li class="item-1"><a href="link2.html">second item</a></li>
            <li class="item-inactive"><a href="link3.html">third item</a></li>
            <li class="item-1"><a href="link4.html">fourth item</a></li>
            <li class="item-0"><a href="link5.html">first item</a></li>
        </ul>
    </div>        
"""


# 将变量读取为html对象，自动添加<html><body>......</html></body>
html = etree.HTML(wb_data)

#　解析数据,/是根节点
data1=html.xpath('/html')
print(data1)
print("=========================================")

# //后面跟子孙节点，后面的节点可以在任意位置
data2=html.xpath('//li')
for i in data2:
    print(i)
print("=========================================")

# 写具体路径
data3=html.xpath('/html/body/div/ul/li/a')
for i in data3:
    print(i.text)
print("=========================================")

# 寻找某个属性
data4=html.xpath('/html/body/div/ul/li/@class')
for i in data4:
    print(i)
print("=========================================")

# .代表当前节点，..代表父节点
data5=html.xpath('/html/body/div/ul/li')
for i in data5:
    temp=i.xpath('./a/@href')
    print(temp)
print("=========================================")

# 读取某一个节点
data6=html.xpath('/html/body/div/ul')
for i in data6:
    li_1=i.xpath('./li[1]')
    print(li_1)
    li_last=i.xpath('./li[last()]')
    print(li_last)
print("=========================================")

# 带有某属性的标签
data7=html.xpath('//ul/li/a[@href="link2.html"]')
for i in data7:
    print(i.text)
print("=========================================")

# *未知节点
data8=html.xpath('//ul/li/*')
for i in data8:
    if hasattr(i,'text'):
        print(i.text)
    else:
        print(i)

读取文件

from lxml import etree

wb_data="""
    <div>
        <ul>
            <li class="item-0"><a href="link1.html">first item</a></li>
            <li class="item-1"><a href="link2.html">second item</a></li>
            <li class="item-inactive"><a href="link3.html">third item</a></li>
            <li class="item-1"><a href="link4.html">fourth item</a></li>
            <li class="item-0"><a href="link5.html">fifth item</a> # 注意，此处缺少一个 </li> 闭合标签
        </ul>
    </div>
"""
# 将字符串解析为html对象,会不全html/body
html=etree.HTML(wb_data)
# 讲a标签的文本直接获取、text()
data2=html.xpath('//li/a/text()')
print(data2)

# 解析html的文件
parser=etree.HTMLParser(encoding='utf-8')
html_file=etree.parse('123.html',parser=parser)
#匹配任意节点
data3=html_file.xpath('//*')
for i in data3:
    if hasattr(i,'text'):
        print(i.text)

# 解析带属性的a标签的text文本
data4=html_file.xpath('//li/a[@href]/text()')
print(data4)

# 解析属性
data5=html_file.xpath('//li/a/@href')
print(data5)

# 谓语
data6=html_file.xpath('//li[last()]/a/text()')
print(data6)

"""
1、读取字符串
2、读取文件
3、节点路径要会写 / // ./
4、解析节点的内容text
5、解析节点的属性@
"""