xpath的chrome插件安装，xpath基本语法
xpath插件安装：
注意：提前安装xpath插件
（1）打开chrome浏览器
（2）点击右上角小圆点
（3）更多工具
（4）扩展程序
（5）拖拽xpath插件到扩展程序中
（6）如果crx文件失效，需要将后缀修改zip
（7）再次拖拽
（8）关闭浏览器重新打开
（9）ctrl + shift + x
（10）出现小黑框
1.安装lxml库
pip install lxml ‐i https://pypi.douban.com/simple
2.导入lxml.etree
from lxml import etree
3.etree.parse() 解析本地文件
html_tree = etree.parse('XX.html')
4.etree.HTML() 服务器响应文件
html_tree = etree.HTML(response.read().decode('utf‐8')
5.html_tree.xpath(xpath路径)
<!--解析.html -->
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"/> <!-- xpath解析严格遵守html规范（标签、单标签要完整）--> <title>Title</title> </head> <body> <ul> <li id="l1" class="c1">北京</li> <li id="l2">上海</li> <li id="c3">深圳</li> <li id="c4">武汉</li> </ul> <!-- <ul>--> <!-- <li>大连</li>--> <!-- <li>锦州</li>--> <!-- <li>沈阳</li>--> <!-- </ul>--> </body> </html>
# _*_ coding : utf-8 _*_ # @Time : 2021/11/2 17:50 # @Author : 秋泊酱 from lxml import etree # xpath解析 # （1）本地文件 etree.parse # （2）服务器响应的数据 response.read().decode('utf-8') ***** etree.HTML() # xpath解析本地文件 tree = etree.parse('解析_xpath的基本使用.html') # tree.xpath('xpath路径') # 查找ul下面的li # li_list = tree.xpath('//body/ul/li') # 查找所有有id的属性的li标签 # text()获取标签中的内容 # li_list = tree.xpath('//ul/li[@id]/text()') # 找到id为l1的li标签 注意引号的问题 # li_list = tree.xpath('//ul/li[@id="l1"]/text()') # 查找到id为l1的li标签的class的属性值 # li = tree.xpath('//ul/li[@id="l1"]/@class') # 查询id中包含l的li标签 # li_list = tree.xpath('//ul/li[contains(@id,"l")]/text()') # 查询id的值以l开头的li标签 # li_list = tree.xpath('//ul/li[starts-with(@id,"c")]/text()') # 查询id为l1和class为c1的 # li_list = tree.xpath('//ul/li[@id="l1" and @class="c1"]/text()') li_list = tree.xpath('//ul/li[@id="l1"]/text() | //ul/li[@id="l2"]/text()') # 判断列表的长度 print(li_list) print(len(li_list))
xpath基本语法：
1.路径查询
//：查找所有子孙节点，不考虑层级关系
/ ：找直接子节点
2.谓词查询
//div[@id]
//div[@id="maincontent"]
3.属性查询
//@class
4.模糊查询
//div[contains(@id, "he")]
//div[starts‐with(@id, "he")]
5.内容查询
//div/h1/text()
6.逻辑运算
//div[@id="head" and @class="s_down"]
//title | //price
