python-爬虫lxml库

lxml库#

#编码流程

#导包
from lxml import etree
#请求
res=requests.get() #解析的是一个html文件
#实例化，加载响应数据
tree=etree.HTML(res.text) #etree 加载的是响应数据的文本形式
#调用xpath解析数据
获取到的可能是节点或文本或属性 = tree.xpath('xpath表达式')

1.DOM树与xpath解析原理#

xpath的解析原理：根据DOM节点的结构关系，来进行定位节点

2.xpath语法#

1.基本语法
	.:代表当前节点
    /:代表根节点
    //:代表任意位置
    nodename:节点名定位
    nodename[@attribute='value']:根据节点的属性进行定位
    @attribue:获取节点的属性值
    text()：获取节点的文本

2.属性匹配
 1.单属性多值匹配：当节点的一个属性有多个值时，根据其中的一个进行定位--->contains 函数 
        contains(@data-hook,"category-products")
 2.多属性匹配：用节点的多个属性共同定位节点
	案例：<div class="sline" id="sline4">多属性匹配</div>
    //div[@class="sline" and @id="sline4"]
    

3.按序选择
    a.索引定位：[1]-->[]中写任意数字，索引从1开始，跟python有区别
    b.位置函数：position(1)>1-->()中写任意数字，代表从2开始
response.xpath("/html/body/div[3]/div/div[2]/ul/li[position()>1]")
    c.last()函数：定位最后一个，last()-1代表定位倒数第二个