dreamno

导航

 
Python lxml

Python lxml用法

lxml库(lxml安装)

  • python 的 HTML/XML 的解析器

  • 官方文档

  • 功能

    • 解析 HTML
    • 文件读取
    • etree 和 xpath 配合
from lxml import etree

Element类

Element是XML处理的核心类, Element对象可以直观的理解为XML的节点, 大部分XML节点的处理都是围绕该类进行的. 这部分包括三个内容: 节点的操作, 节点属性的操作, 节点内文本的操作.

一 : 节点操作

1. 创建Element对象

  • 使用 Element 方法, 参数即节点名称.

    >>> root = etree.Element('root')
>>> print(root)
<Element root at 0x2da0708>

2. 获取节点名称

  • 使用 tag 属性, 获取节点的名称.

    >>> print(root.tag)
root

3.. 输出XML内容

  • 使用 tostring 方法输出XML内容, 参数为Element对象.

    >>> print(etree.tostring(root))
b'<root><child1/><child2/><child3/></root>'

4. 添加子节点

  • 使用 SubElement 方法创建子节点, 第一个参数为父节点(Element对象), 第二个参数为子节点名称.

    >>> child1 = etree.SubElement(root, 'child1')
>>> child2 = etree.SubElement(root, 'child2')
>>> child3 = etree.SubElement(root, 'child3')

5. 删除子节点

  • 使用 remove 方法删除指定节点, 参数为Element对象. clear方法清空所有节点.

    >>> root.remove(child1)  # 删除指定子节点
>>> print(etree.tostring(root))
b'<root><child2/><child3/></root>'
>>> root.clear()  # 清除所有子节点
>>> print(etree.tostring(root))
b'<root/>'

6. 以列表的方式操作子节点

  • 可以将Element对象的子节点视为列表进行各种操作

    >>> child = root[0]  # 下标访问
>>> print(child.tag)
child1
 
>>> print(len(root))  # 子节点数量
3
 
>>> root.index(child2)  # 获取索引号
1
 
>>> for child in root:  # 遍历
...     print(child.tag)
child1
child2
child3
 
>>> root.insert(0, etree.Element('child0'))  # 插入
>>> start = root[:1]  # 切片
>>> end = root[-1:]
 
>>> print(start[0].tag)
child0
>>> print(end[0].tag)
child3
 
>>> root.append( etree.Element('child4') )  # 尾部添加
>>> print(etree.tostring(root))
b'<root><child0/><child1/><child2/><child3/><child4/></root>'

7. 获取父节点

  • 使用 getparent 方法可以获取父节点

    >>> print(child1.getparent().tag)
root

二 : 属性操作

属性是以key-value的方式存储的, 就像字典一样.

1. 创建属性

  • 可以在创建Element对象时同步创建属性, 第二个参数即为属性名和属性值:

    >>> root = etree.Element('root', interesting='totally')
>>> print(etree.tostring(root))
b'<root interesting="totally"/>'
也可以使用set方法给已有的Element对象添加属性, 两个参数分别为属性名和属性值: 

>>> root.set('hello', 'Huhu')
>>> print(etree.tostring(root))
b'<root interesting="totally" hello="Huhu"/>'

2. 获取属性

  • 属性是以key-value的方式存储的, 就像字典一样. 直接看例子

    # get方法获得某一个属性值
>>> print(root.get('interesting'))
totally
 
# keys方法获取所有的属性名
>>> sorted(root.keys())
['hello', 'interesting']
 
# items方法获取所有的键值对
>>> for name, value in sorted(root.items()):
...     print('%s = %r' % (name, value))
hello = 'Huhu'
interesting = 'totally'

  • 也可以用attrib属性一次拿到所有的属性及属性值存于字典中:

    >>> attributes = root.attrib
>>> print(attributes)
{'interesting': 'totally', 'hello': 'Huhu'}
 
>>> attributes['good'] = 'Bye'  # 字典的修改影响节点
>>> print(root.get('good'))
Bye

三 : 文本操作

标签及标签的属性操作介绍完了, 最后就剩下标签内的文本了. 可以使用text和tail属性, 或XPath的方式来访问文本内容.

1. text 和 tail 属性

  • 一般情况, 可以用Element的text属性访问标签的文本.

    >>> root = etree.Element('root')
>>> root.text = 'Hello, World!'
>>> print(root.text)
Hello, World!
>>> print(etree.tostring(root))
b'<root>Hello, World!</root>'```
 
XML的标签一般是成对出现的, 有开有关, 但像HTML则可能出现单一的标签, 如下面这段代码中的`<br/>`
 
`<html><body>Text<br/>Tail</body></html>`  
 
Element类提供了tail属性支持单一标签的文本获取. 
```python
>>> html = etree.Element('html')
>>> body = etree.SubElement(html, 'body')
>>> body.text = 'Text'
>>> print(etree.tostring(html))
b'<html><body>Text</body></html>'
 
>>> br = etree.SubElement(body, 'br')
>>> print(etree.tostring(html))
b'<html><body>Text<br/></body></html>'
 
# tail仅在该标签后面追加文本
>>> br.tail = 'Tail'
>>> print(etree.tostring(br))
b'<br/>Tail'
 
>>> print(etree.tostring(html))
b'<html><body>Text<br/>Tail</body></html>'
 
# tostring方法增加method参数, 过滤单一标签, 输出全部文本
>>> print(etree.tostring(html, method='text'))
b'TextTail'

2. XPATH 方式

  • example:

    # 方式一: 过滤单一标签, 返回文本
>>> print(html.xpath('string()'))
TextTail
 
# 方式二: 返回列表, 以单一标签为分隔
>>> print(html.xpath('//text()'))
['Text', 'Tail']

  • 方法二获得的列表, 每个元素都会带上它所属节点及文本类型信息, 如下:

    >>> texts = html.xpath('//text()'))
 
>>> print(texts[0])
Text
# 所属节点
>>> parent = texts[0].getparent()  
>>> print(parent.tag)
body
 
>>> print(texts[1], texts[1].getparent().tag)
Tail br
 
# 文本类型: 是普通文本还是tail文本
>>> print(texts[0].is_text)
True
>>> print(texts[1].is_text)
False
>>> print(texts[1].is_tail)
True

四 : 文件解析与输出

这部分讲述如何将XML文件解析为Element对象, 以及如何将Element对象输出为XML文件.

1. 文件解析

  • 文件解析常用的有fromstring, XML和HTML三个方法. 接受的参数都是字符串.

    >>> xml_data = '<root>data</root>'
 
# fromstring方法
>>> root1 = etree.fromstring(xml_data)
>>> print(root1.tag)
root
>>> print(etree.tostring(root1))
b'<root>data</root>'
 
# XML方法, 与fromstring方法基本一样
>>> root2 = etree.XML(xml_data)
>>> print(root2.tag)
root
>>> print(etree.tostring(root2))
b'<root>data</root>'
 
# HTML方法, 如果没有<html>和<body>标签, 会自动补上
>>> root3 = etree.HTML(xml_data)
>>> print(root3.tag)
html
>>> print(etree.tostring(root3))
b'<html><body><root>data</root></body></html>'

2. 输出

  • 输出其实就是前面一直在用的tostring方法了, 这里补充xml_declaration和encoding两个参数, 前者是XML声明, 后者是指定编码.

    >>> root = etree.XML('<root><a><b/></a></root>')
 
>>> print(etree.tostring(root))
b'<root><a><b/></a></root>'
 
# XML声明
>>> print(etree.tostring(root, xml_declaration=True))
b"<?xml version='1.0' encoding='ASCII'?>\n<root><a><b/></a></root>"
 
# 指定编码
>>> print(etree.tostring(root, encoding='iso-8859-1'))
b"<?xml version='1.0' encoding='iso-8859-1'?>\n<root><a><b/></a></root>"

五 : ElementPath

  • 讲ElementPath前, 需要引入ElementTree类, 一个ElementTree对象可理解为一个完整的XML树, 每个节点都是一个Element对象. 而ElementPath则相当于XML中的XPath. 用于搜索和定位Element元素.

  • 两个常用方法, 可以满足大部分搜索, 查询需求, 它们的参数都是XPath语句(关于XPath的学习可以查看我之前的一片文章):

    findall(): 返回所有匹配的元素, 返回列表

    find(): 返回匹配到的第一个元素

    >>> root = etree.XML("<root><a x='123'>aText<b/><c/><b/></a></root>")
 
# 查找第一个b标签
>>> print(root.find('b'))
None
>>> print(root.find('a').tag)
a
 
# 查找所有b标签, 返回Element对象组成的列表
>>> [ b.tag for b in root.findall('.//b') ]
['b', 'b']
 
# 根据属性查询
>>> print(root.findall('.//a[@x]')[0].tag)
a
>>> print(root.findall('.//a[@y]'))
[]

六 : 案例

  • 解析 HTML , 案例1.py
  • 文件读取, 案例2.html , 案例2.py
  • etree 和 XPath 的配合使用, 案例3.py

案例1.py

'''
安装lxml
'''
from lxml import etree
 
'''
用lxml来解析HTML代码
'''
 
text = '''
<div>
    <ul>
        <li class="item-0"> <a href="0.html"> first item </a></li>
        <li class="item-1"> <a href="1.html"> first item </a></li>
        <li class="item-2"> <a href="2.html"> first item </a></li>
        <li class="item-3"> <a href="3.html"> first item </a></li>
        <li class="item-4"> <a href="4.html"> first item </a></li>
        <li class="item-5"> <a href="5.html"> first item </a>
    </ul>
</div>
'''
 
# 利用etree.HTML把字符串解析成HTML文档
html = etree.HTML(text)
s = etree.tostring(html)
print(s)

案例2.html

<?xml version="1.0" encoding="utf-8"?>
 
<bookstore>
    <book category="cooking">
        <title lang="en">Everyday Italian</title>
        <author>Gidada De</author>
        <year>2018</year>
        <price>23</price>
    </book>
 
    <book category="education">
        <title lang="en">Python is Python</title>
        <author>Food War</author>
        <year>2008</year>
        <price>83</price>
    </book>
 
    <book category="sport">
        <title lang="en">Running</title>
        <author>Klaus Kuka</author>
        <year>2010</year>
        <price>43</price>
    </book>
 
</bookstore>

案例2.py

from lxml import etree
 
# 只能读取xml格式内容, html报错
html = etree.parse("./v30.html")
 
rst = etree.tostring(html, pretty_print=True)
print(rst)

案例3.py

from lxml import etree
 
# 只能读取xml格式内容, html报错
html = etree.parse("./v30.html")
print(type(html))
 
rst = html.xpath('//book')
print(type(rst))
print(rst)
 
# xpath的意识是, 查找带有category属性值为sport的book元素
rst = html.xpath('//book[@category="sport"]')
print(type(rst))
print(rst)
 
# xpath的意识是, 查找带有category属性值为sport的book元素下的year元素
rst = html.xpath('//book[@category="sport"]/year')
rst = rst[0]
print(type(rst))
print(rst.tag)
print(rst.text)

其他(总)

  • 目前有很多 xml, html 文档的 parser ,如标准库的 xml.etree , beautifulsoup , 还有 lxml . 都用下来感觉 lxml 不错,速度也还行

  • 围绕三个问题:

    1. 有一个XML文件, 如何解析
    2. 解析后, 如果查找, 定位某个标签
    3. 定位后如何操作标签, 比如访问属性, 文本内容等

这些操作应该算是比较基础的,还可以自己在网上查找相关教程,官网更详细一点,进阶xpath语法,要在以后操作xml文件和html文件用上.

#!/usr/bin/python
# coding=utf-8
# __author__='dahu'
#
'''
Element是XML处理的核心类, 
Element对象可以直观的理解为XML的节点, 大部分XML节点的处理都是围绕该类进行的. 
这部分包括三个内容: 节点的操作, 节点属性的操作, 节点内文本的操作. 
'''
from lxml import etree
 
# 1.创建element
root = etree.Element('root')
print root, root.tag
 
# 2.添加子节点
child1 = etree.SubElement(root, 'child1')
child2 = etree.SubElement(root, 'child2')
 
# 3.删除子节点
# root.remove(child2)
 
# 4.删除所有子节点
# root.clear()
 
# 5.以列表的方式操作子节点
print(len(root))
print root.index(child1)  # 索引号
root.insert(0, etree.Element('child3'))  # 按位置插入
root.append(etree.Element('child4'))  # 尾部添加
 
# 6.获取父节点
print(child1.getparent().tag)
# print root[0].getparent().tag   #用列表获取子节点,再获取父节点
'''以上都是节点操作'''
 
# 7.创建属性
# root.set('hello', 'dahu')   #set(属性名,属性值)
# root.set('hi', 'qing')
 
# 8.获取属性
# print(root.get('hello'))    #get方法
# print root.keys(),root.values(),root.items()    #参考字典的操作
# print root.attrib           #直接拿到属性存放的字典,节点的attrib,就是该节点的属性
'''以上是属性的操作'''
 
# 9.text和tail属性
# root.text = 'Hello, World!'
# print root.text
 
# 10.test,tail和text的结合
html = etree.Element('html')
html.text = 'html.text'
body = etree.SubElement(html, 'body')
body.text = 'wo ai ni'
child = etree.SubElement(body, 'child')
child.text='child.text' #一般情况下,如果一个节点的text没有内容,就只有</>符号,如果有内容,才会<>,</>都有
child.tail = 'tails'  # tail是在标签后面追加文本
print(etree.tostring(html))
# print(etree.tostring(html, method='text'))  # 只输出text和tail这种文本文档,输出的内容连在一起,不实用
 
#11.Xpath方式
# print(html.xpath('string()'))   #这个和上面的方法一样,只返回文本的text和tail
print(html.xpath('//text()'))   #这个比较好,按各个文本值存放在列表里面
tt=html.xpath('//text()')
print tt[0].getparent().tag     #这个可以,首先我可以找到存放每个节点的text的列表,然后我再根据text找相应的节点
# for i in tt:
#     print i,i.getparent().tag,'\t',
 
#12.判断文本类型
print tt[0].is_text,tt[-1].is_tail  #判断是普通text文本,还是tail文本
'''以上都是文本的操作'''
 
#13.字符串解析,fromstring方式
xml_data = '<html>html.text<body>wo ai ni<child>child.text</child>tails</body></html>'
root1=etree.fromstring(xml_data)    #fromstring,字面意思,直接来源字符串
# print root1.tag
# print etree.tostring(root1)
 
#14.xml方式
root2 = etree.XML(xml_data)     #和fromstring基本一样,
print etree.tostring(root2)
 
#15.文件类型解析
tree =etree.parse('text')   #文件解析成元素树
root3 = tree.getroot()      #获取元素树的根节点
print etree.tostring(root3,pretty_print=True)
 
parser= etree.XMLParser(remove_blank_text=True) #去除xml文件里的空行
root = etree.XML("<root>  <a/>   <b>  </b>     </root>",parser)
print etree.tostring(root)
 
#16.html方式
xml_data1='<root>data</root>'
root4 = etree.HTML(xml_data1)
print(etree.tostring(root4))#HTML方法, 如果没有<html>和<body>标签, 会自动补上
#注意,如果是需要补全的html格式:这样处理哦
with open("quotes-1.html",'r')as f:
    a=H.document_fromstring(f.read().decode("utf-8"))
 
for i in  a.xpath('//div[@class="quote"]/span[@class="text"]/text()'):
    print i
 
#17.输出内容,输出xml格式
print etree.tostring(root)
print(etree.tostring(root, xml_declaration=True,pretty_print=True,encoding='utf-8'))#指定xml声明和编码
'''以上是文件IO操作'''
 
#18.findall方法
root = etree.XML("<root><a x='123'>aText<b/><c/><b/></a></root>")
print(root.findall('a')[0].text)#findall操作返回列表
print(root.find('.//a').text)   #find操作就相当与找到了这个元素节点,返回匹配到的第一个元素
print(root.find('a').text)
print [ b.text for b in root.findall('.//a') ]    #配合列表解析,相当帅气!
print(root.findall('.//a[@x]')[0].tag)  #根据属性查询
'''以上是搜索和定位操作'''
print(etree.iselement(root))
print root[0] is root[1].getprevious()  #子节点之间的顺序
print root[1] is root[0].getnext()
'''其他技能'''
# 遍历元素数
root = etree.Element("root")
etree.SubElement(root, "child").text = "Child 1"
etree.SubElement(root, "child").text = "Child 2"
etree.SubElement(root, "another").text = "Child 3"
etree.SubElement(root[0], "childson").text = "son 1"
# for i in root.iter():   #深度遍历
# for i in root.iter('child'):    #只迭代目标值
#     print i.tag,i.text
# print etree.tostring(root,pretty_print=True)

转自

posted on 2022-08-03 11:57  dreamno  阅读(175)  评论(0)  编辑  收藏  举报
 
Powered by:
博客园
Copyright © 2024 dreamno
Powered by .NET 9.0 on Kubernetes