python使用xpath解析html元素
之前研究了基于BeautifulSoup4 解析html， 现在研究下xpath 的使用方法。
参考菜鸟教程： https://www.runoob.com/xpath/xpath-examples.html
chrome浏览器自己可以安装插件: XPath Helper，再调试的时候可以使用该插件获取指定元素。(可以用Shift + 鼠标悬浮快速生成xpath 路径)
0. 简单语法简介
1. 选取节点
| 表达式 | 描述 |
|---|---|
| nodename | 选取此节点的所有子节点。 |
| / | 从根节点选取（取子节点）。简单理解就是获取第一层子节点 |
| // | 从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置（取子孙节点）。简单理解就是获取所有子孙节点。 |
| . | 选取当前节点。 |
| .. | 选取当前节点的父节点。 |
| @ | 选取属性。 |
例子：
| 路径表达式 | 结果 |
|---|---|
| bookstore | 选取 bookstore 元素的所有子节点。 |
| /bookstore |
选取根元素 bookstore。 注释：假如路径起始于正斜杠( / )，则此路径始终代表到某元素的绝对路径！ |
| bookstore/book | 选取属于 bookstore 的子元素的所有 book 元素。 |
| //book | 选取所有 book 子元素，而不管它们在文档中的位置。 |
| bookstore//book | 选择属于 bookstore 元素的后代的所有 book 元素，而不管它们位于 bookstore 之下的什么位置。 |
| //@lang | 选取名为 lang 的所有属性。 |
2. 谓语(predicates)
谓语用来查找某个特定的节点或者包含某个指定的值的节点。谓语被嵌在方括号中。例如：
| 路径表达式 | 结果 |
|---|---|
| /bookstore/book[1] | 选取属于 bookstore 子元素的第一个 book 元素。 |
| /bookstore/book[last()] | 选取属于 bookstore 子元素的最后一个 book 元素。 |
| /bookstore/book[last()-1] | 选取属于 bookstore 子元素的倒数第二个 book 元素。 |
| /bookstore/book[position()<3] | 选取最前面的两个属于 bookstore 元素的子元素的 book 元素。 |
| //title[@lang] | 选取所有拥有名为 lang 的属性的 title 元素。 |
| //title[@lang='eng'] | 选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。 |
| /bookstore/book[price>35.00] | 选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值须大于 35.00。 |
| /bookstore/book[price>35.00]//title | 选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00。 |
3. 选取未知节点
| 通配符 | 描述 |
|---|---|
| * | 匹配任何元素节点。 |
| @* | 匹配任何属性节点。 |
| node() | 匹配任何类型的节点。 |
在下面的表格中，我们列出了一些路径表达式，以及这些表达式的结果：
| 路径表达式 | 结果 |
|---|---|
| /bookstore/* | 选取 bookstore 元素的所有子元素。 |
| //* | 选取文档中的所有元素。 |
| //title[@*] | 选取所有带有属性的 title 元素。 |
4. 选取若干路径
通过在路径表达式中使用"|"运算符，可以选取若干个路径。
| 路径表达式 | 结果 |
|---|---|
| //book/title | //book/price | 选取 book 元素的所有 title 和 price 元素。 |
| //title | //price | 选取文档中的所有 title 和 price 元素。 |
| /bookstore/book/title | //price | 选取属于 bookstore 元素的 book 元素的所有 title 元素，以及文档中所有的 price 元素。 |
5. 运算符
| 运算符 | 描述 | 实例 | 返回值 |
|---|---|---|---|
| | | 计算两个节点集 | //book | //cd | 返回所有拥有 book 和 cd 元素的节点集 |
| + | 加法 | 6 + 4 | 10 |
| - | 减法 | 6 - 4 | 2 |
| * | 乘法 | 6 * 4 | 24 |
| div | 除法 | 8 div 4 | 2 |
| = | 等于 | price=9.80 |
如果 price 是 9.80，则返回 true。 如果 price 是 9.90，则返回 false。 |
| != | 不等于 | price!=9.80 |
如果 price 是 9.90，则返回 true。 如果 price 是 9.80，则返回 false。 |
| < | 小于 | price<9.80 |
如果 price 是 9.00，则返回 true。 如果 price 是 9.90，则返回 false。 |
| <= | 小于或等于 | price<=9.80 |
如果 price 是 9.00，则返回 true。 如果 price 是 9.90，则返回 false。 |
| > | 大于 | price>9.80 |
如果 price 是 9.90，则返回 true。 如果 price 是 9.80，则返回 false。 |
| >= | 大于或等于 | price>=9.80 |
如果 price 是 9.90，则返回 true。 如果 price 是 9.70，则返回 false。 |
| or | 或 | price=9.80 or price=9.70 |
如果 price 是 9.80，则返回 true。 如果 price 是 9.50，则返回 false。 |
| and | 与 | price>9.00 and price<9.90 |
如果 price 是 9.80，则返回 true。 如果 price 是 8.50，则返回 false。 |
| mod | 计算除法的余数 | 5 mod 2 | 1 |
补充：xpath 解析svg 需要用name()
# 找到第一个节点然后扩展 node1 = browser.find_element(by=By.XPATH,value=' //*[name()="svg"]//*[name()="g"]/*[@class="node"][1]')
1. python 安装lxml 模块
cmd 安装
pip install lxml
pycharm 安装：settings -> project: name -> python interpreter -> 添加lxml
2. 简单使用
1. 读取
可以读取文件，也可以读取指定字符串。 这种读取方式会自动补全一些相关的html 标签。
1. 读取指定串：
from lxml import etree text = ''' <div> <ul> <li class="item-0" id="id1"><a href="link1.html">first item</a></li> <li class="item-1"><a href="link2.html">second item</a></li> <li class="item-inactive"><a href="link3.html">third item</a></li> <li class="item-1"><a href="link4.html">fourth item</a></li> <li class="item-0" id="id2"><a href="link5.html">fifth item</a> </ul> </div> ''' html = etree.HTML(text) print(etree.tostring(html))
结果：
b'<html><body><div>\n <ul>\n <li class="item-0" id="id1"><a href="link1.html">first item</a></li>\n <li class="item-1"><a href="link2.html">second item</a></li>\n <li class="item-inactive"><a href="link3.html">third item</a></li>\n <li class="item-1"><a href="link4.html">fourth item</a></li>\n <li class="item-0" id="id2"><a href="link5.html">fifth item</a>\n </li></ul>\n </div>\n</body></html>'
2. 读取文件：
from lxml import etree html = etree.parse("detail.html") print(etree.tostring(html))
2. 解析
下面的解析还是以上面为例子。 任何selector 后面都可以继续用xpath 获取元素。
(1) 获取所有的li 标签
from lxml import etree html = etree.parse("detail.html") result = html.xpath('//li') print(result) print(len(result)) print(type(result)) print(type(result[0]))
结果：
[<Element li at 0x1a7665b1480>, <Element li at 0x1a7665b1580>, <Element li at 0x1a7665b15c0>, <Element li at 0x1a7665b1600>, <Element li at 0x1a7665b1640>] 5 <class 'list'> <class 'lxml.etree._Element'>
(2)获取所有li的class 属性
from lxml import etree html = etree.parse("detail.html") result = html.xpath('//li/@class') print(result)
结果：
['item-0', 'item-1', 'item-inactive', 'item-1', 'item-0']
另一种用./@attr 方式获取：
from lxml import etree html = etree.parse("detail.html") result = html.xpath('//li') for ele in result: # 获取当前元素的class 属性 print(ele.xpath("./@class"))
(3) 根据href 属性找元素，找到打印属性和text 内容
from lxml import etree html = etree.parse("detail.html") result = html.xpath('//li/a[@href="link1.html"]') print(result[0].text) print(result[0].get("href"))
结果：
first item
link1.html
(4) 获取所有a元素的text()
from lxml import etree html = etree.parse("detail.html") result = html.xpath('//a/text()') print(result)
结果：
['first item', 'second item', 'fourth item', 'fifth item']
(5) 根据class 属性取找
from lxml import etree html = etree.parse("detail.html") result = html.xpath('//*[@class="item-inactive"]//text()') print(result)
结果：
['third item']
(6) 获取最后一个li 元素下面a标签的href 属性
from lxml import etree html = etree.parse("detail.html") result = html.xpath('//li[last()]/a/@href') print(result)
结果：
['link5.html']
(7) 获取到二个li 元素下面a标签的href 属性
from lxml import etree html = etree.parse("detail.html") result = html.xpath('//li[last()-1]/a/@href') print(result)
