lxml库和BeautifulSoup库常用点小结
算是本人的学习笔记吧，仅供个人学习使用。
以下内容摘自《Python3网络爬虫开发实战--崔庆才著》
1.lxml库
XPath 常用规则：
| 表达式 | 描述 |
|---|---|
| nodename | 选取此节点的所有子节点 |
| / | 从当前节点选取直接子节点 |
| // | 从当前节点选取子孙节点 |
| . | 选取当前节点 |
| .. | 选取当前节点的父节点 |
| @ | 选取属性 |
具体阐述：
| 目的 | 示例 | 含义 |
|---|---|---|
| 所有节点 | //li | 以//开头，表示获取所有li节点 |
| 子节点选取 | //li | 获取所有li节点 |
| //li/a | 获取所有li节点的所有直接a子节点 | |
| //li//a | 获取li节点下的所有子孙a节点 | |
| //a[@href="link4.html"] | 获取href属性为link4.html的a节点 | |
| 父节点选取 | //a[@href="link4.html"]/.. | 获取href属性为link4.html的a节点的父节点 |
| 文本获取 | text() | 获取节点内部的文本 |
| //li[@class="item-0"]/text() | 选取class属性为item-0的li节点的直接子节点内部的文本 | |
| //li[@class="item-0"]//text() | 选取class属性为item-0的li节点的子孙节点内部的文本 | |
| 属性获取 | @ | 获取节点的属性 |
| //li/a/@href | 获取所有li节点的直接子节点a的href属性，返回内容可能为"link4.html" | |
| 属性多值匹配 | contains(classname,classvalue)方法 | 第一个参数传入属性名称，第二个参数传入属性值 |
| //li[contains(@class,"li")]/a/text() | 获取class属性值包含"li"的li节点的直接子节点a内部的文本 | |
| 多属性匹配 | and运算符 | 根据多个属性确定一个节点 |
| //li[contains(@class,"li") and @name="item"]/a/text() | 需要同时根据class和name属性的值来确定li节点 |
2.BeautifulSoup库的方法选择器
载入库
from bs4 import BeautifulSoup
soup=BeautifulSoup(html,"lxml") #进行BeautifulSoup对象的初始化
find_all(name,attrs,recursive,text,**kwargs)：查询所有符合条件的元素；find()返回的是第一个匹配的元素
| 参数 | 作用 | 示例 |
|---|---|---|
| name | 根据节点名查询元素 | soup.fina_all(name="ul") #查询所有的ul节点 |
| attrs | 根据属性查询 | soup.find_all(attrs={'id':'list-1'})) #查询id属性值为list-1的节点 |
| text | 匹配节点的文本 | soup.find_all(text=re.compile('link')) #返回所有匹配正则表达式的节点的文本组成的列表 |
