爬虫系列二(数据清洗--->xpath解析数据)

一 xpath介绍

XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。

• XPath 使用路径表达式在 XML 文档中进行导航
• XPath 包含一个标准函数库
• XPath 是 XSLT 中的主要元素
• XPath 是一个 W3C 标准

 

二 xpath 术语

概念	解释	举例
基本值（或称原子值，Atomic value）	基本值是无父或无子的节点	J K. Rowling，"en"
项目（Item）	项目是基本值或者节点
节点关系-父（Parent）	每个元素以及属性都有一个父。	在上面的例子中，book 元素是 title、author、year 以及 price 元素的父：
节点关系-子（Children）	元素节点可有零个、一个或多个子。	在上面的例子中，title、author、year 以及 price 元素都是 book 元素的子：
节点关系-同胞（Sibling）	拥有相同的父的节点。	在上面的例子中，title、author、year 以及 price 元素都是同胞：
节点关系-先辈（Ancestor）	某节点的父、父的父，等等。	在上面的例子中，title 元素的先辈是 book 元素和 bookstore 元素。
后代（Descendant）	某个节点的子，子的子，等等。	在上面的例子中，bookstore 的后代是 book、title、author、year 以及 price 元素。

三 xpath术语

 

表达式	描述
nodename	选取此节点的所有子节点。
/	从根节点选取。
//	从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。
.	选取当前节点。
..	选取当前节点的父节点。
@	选取属性。

 

四 助力理解

路径表达式	结果
bookstore	选取 bookstore 元素的所有子节点。
/bookstore	选取根元素 bookstore。注释：假如路径起始于正斜杠( / )，则此路径始终代表到某元素的绝对路径！
bookstore/book	选取属于 bookstore 的子元素的所有 book 元素。
//book	选取所有 book 子元素，而不管它们在文档中的位置。
bookstore//book	选择属于 bookstore 元素的后代的所有 book 元素，而不管它们位于 bookstore 之下的什么位置。
//@lang	选取名为 lang 的所有属性。

 

路径表达式	结果
/bookstore/book[1]	选取属于 bookstore 子元素的第一个 book 元素。
/bookstore/book[last()]	选取属于 bookstore 子元素的最后一个 book 元素。
/bookstore/book[last()-1]	选取属于 bookstore 子元素的倒数第二个 book 元素。
/bookstore/book[position()<3]	选取最前面的两个属于 bookstore 元素的子元素的 book 元素。
//title[@lang]	选取所有拥有名为 lang 的属性的 title 元素。
//title[@lang=’eng’]	选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。
/bookstore/book[price>35.00]	选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值须大于 35.00。
/bookstore/book[price>35.00]/title	选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00。

 

以上摘抄：https://www.jianshu.com/p/62ba163c5be5

 

五 xapth解析数据实例----(二手房价)

 

'''
    xpath数据解析流程:
        1.pip install lxml
        2.导包:from lxml import etree
        3.实例化一个etree对象(将页面数据加载到该对象)
        4.调用etree中的xpath函数结合着xpath表达式进行数据解析操作     
'''

1 url

https://sz.58.com/ershoufang/

 

2 请求头

headers={
    'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.20 Safari/537.36'
}

 

3 获取页面数据

page_text=requests.get(url=url,headers=headers).text

 

4 使用xpath解析数据

#1 实例化etree对象
tree=etree.HTML(page_text)

#2 写表达式定位到需要获取的房价信息
li_list=tree.xpath('//ul[@class="house-list-wrap"]/li') #获取房价的页面所有的li标签

fp=open('fangjia.txt','w',encoding='utf8')
for li in li_list:
    title=li.xpath('./div[@class="list-info"]/h2/a/text()')[0] #获取房价描述的title
    price=li.xpath('./div[@class="price"]/p[@class="sum"]//text()')#获取房价描述的price
    price="".join(price)
    fp.write('\n'+title+":"+price)
fp.close()

注意:

　　xpath 解析的数据的返回值是一个列表.

 

完整代码

import requests
from lxml import etree

url=f'https://bj.58.com/ershoufang/pn1/'

headers={
    'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.20 Safari/537.36'
}

page_text=requests.get(url=url,headers=headers).text


#实例化etree对象
tree=etree.HTML(page_text)
li_list=tree.xpath('//ul[@class="house-list-wrap"]/li')

fp=open('fangjia.txt','w',encoding='utf8')
for li in li_list:
    title=li.xpath('./div[@class="list-info"]/h2/a/text()')[0]
    price=li.xpath('./div[@class="price"]/p[@class="sum"]//text()')
    price="".join(price)
    fp.write('\n'+title+":"+price)
fp.close()