xpath解析

一、xpath语法

• XPath 使用路径表达式来选取HTML/ XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。

二、选取节点

表达式	描述
nodename	选取此节点的所有子节点。
/	从根节点选取（取子节点）。
//	从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置（取子孙节点）。
.	选取当前节点。
..	选取当前节点的父节点。
@	选取属性。

三、路径表达式

路径表达式	结果
bookstore	选取 bookstore 元素的所有子节点。
/bookstore	选取根元素 bookstore。注释：假如路径起始于正斜杠( / )，则此路径始终代表到某元素的绝对路径！
bookstore/book	选取属于 bookstore 的子元素的所有 book 元素。
//book	选取所有 book 子元素，而不管它们在文档中的位置。
bookstore//book	选择属于 bookstore 元素的后代的所有 book 元素，而不管它们位于 bookstore 之下的什么位置。
//@lang	选取名为 lang 的所有属性。

四、谓语

• 谓语用来查找某个特定的节点或者包含某个指定的值的节点。
• 谓语被嵌在方括号中。

路径表达式	结果
/bookstore/book[1]	选取属于 bookstore 子元素的第一个 book 元素。
/bookstore/book[last()]	选取属于 bookstore 子元素的最后一个 book 元素。
/bookstore/book[last()-1]	选取属于 bookstore 子元素的倒数第二个 book 元素。
/bookstore/book[position()<3]	选取最前面的两个属于 bookstore 元素的子元素的 book 元素。
//title[@lang]	选取所有拥有名为 lang 的属性的 title 元素。
//title[@lang='eng']	选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。

五、选取未知节点

通配符	描述
*	匹配任何元素节点。
@*	匹配任何属性节点。
node()	匹配任何类型的节点。

• 在下面的表格中，我们列出了一些路径表达式，以及这些表达式的结果：

路径表达式	结果
/bookstore/*	选取 bookstore 元素的所有子元素。
//*	选取文档中的所有元素。
//title[@*]	选取所有带有属性的 title 元素。

六、选取若干节点

• 通过在路径表达式中使用"|"运算符，您可以选取若干个路径。

路径表达式	结果
//book/title | //book/price	选取 book 元素的所有 title 和 price 元素。
//title | //price	选取文档中的所有 title 和 price 元素。
/bookstore/book/title | //price	选取属于 bookstore 元素的 book 元素的所有 title 元素，以及文档中所有的 price 元素。

七、代码案例

• 选取某网代码进行抓取相应内容。
• 主要运用的模块。

import requests
from lxml import etree
import json

• 代码示例。

import requests
from lxml import etree
import json
class MouZhan(object):
    def __init__(self,num):
        self.url = f"https://*/{num}"
        self.headers = {
            "*":"*"
        }
    '''发起请求并获取数据'''
    def get_data_index(self):
        resp = requests.get(self.url,headers=self.headers)
        if resp.status_code==200:
            return resp.text
        else:
            return None
    """数据解析"""
    def parse_data_index(self,resp):
        # first 创建对象
        html = etree.HTML(resp)
        # 捕获异常
        try:
            data_list = html.xpath('//ul[@class="cook-list"]//li')

            # 单独拿出每一个数据进行解析
            for data in data_list:
                # 精确提取数据
                title = data.xpath("./a/@title")[0]      # 获取标题
                major = data.xpath("./div/p/text()")[0]     # 获取配料
                score = data.xpath("./div/div/span[2]/text()")[0] # 获取评分

                yield {"标题":title,"配料":major,"评分":score}
        except IndexError:
            pass

    """保存数据"""
    def write_data(self,content):
        with open("文本.txt","a",encoding="utf-8") as f:
            f.write(json.dumps(content,ensure_ascii=False)+'\n')

    """实现整个代码的业务逻辑"""
    def run(self):
        resp = self.get_data_index()
        for data in self.parse_data_index(resp):
            print(data)
            self.write_data(data)

if __name__ == '__main__':
    for num in range(4):
        spider = MouZhan(num*20)
        spider.run()

八、提取至excel表的方法

• 主要运用的模块

import requests
from lxml import etree
import openpyxl

• 代码实例

import requests
from lxml import etree
import openpyxl
class MouZhan(object):
    def __init__(self,num):
        self.url = f"*/{num}"
        self.headers = {
            "*":"*"
        }
        self.wk = openpyxl.Workbook()
        # 创建一个sheet
        self.sheet = self.wk.create_sheet("文本名",0)
        self.sheet.append(["标题","配料","评分"])

    '''发起请求并获取数据'''
    def get_data_index(self):
        resp = requests.get(self.url,headers=self.headers)
        if resp.status_code==200:
            return resp.text
        else:
            return None
    """数据解析"""
    def parse_data_index(self,resp):
        # first 创建对象
        html = etree.HTML(resp)
        # 捕获异常
        try:
            data_list = html.xpath('//ul[@class="cook-list"]//li')

            # 单独拿出每一个数据进行解析
            for data in data_list:
                # 精确提取数据
                title = data.xpath("./a/@title")[0]      # 获取标题
                major = data.xpath("./div/p/text()")[0]     # 获取配料
                score = data.xpath("./div/div/span[2]/text()")[0] # 获取评分
                data = [title,major,score]
                print(data)
                self.sheet.append(data)
                self.wk.save("文本名.xlsx")

        except IndexError:
            pass

    """实现整个代码的业务逻辑"""
    def run(self):
        resp = self.get_data_index()
        self.parse_data_index(resp)

if __name__ == '__main__':
    for num in range(0,2):
        spider = MouZhan(num*20)
        spider.run()