HTML解析
import bs4
import requests
from lxml import etree
url = 'http://www.lzbs.com.cn/ttnews/2022-04/21/content_4957183.htm'
response = requests.get(url, headers={"User-Agent": "Mozilla/5.0"}).content
soup = bs4.BeautifulSoup(response, 'lxml')
content_list = soup.select(".articalCont > p")[:-2]
# content_list = soup.select(".articalCont>p:first-child")
print(content_list)
contents = ''
for content in content_list:
contents += content.text
print(contents)
s = '<a href="http://www.lzbs.com.cn/ttnews/2022-04/21/content_4957183.htm">聚焦难点动真格 分类施策求实效 科学精准尽心尽责化解“登记难”</a>'
res = etree.parse(url, parser=etree.HTMLParser()).xpath('//div[@class="articalCont"]/p/text()')
res = etree.fromstring(s).xpath('//a/text()') # 获取a标签的文本
res = etree.fromstring(s).xpath('//a/@href') # 获取a标签的链接
print(res)
xpath操作示例
# XML示例文档
<?xml version="1.0" encoding="ISO-8859-1"?>
<bookstore>
<book class="book">
<title lang="eng">Harry Potter</title>
<price>29.99</price>
</book>
<book class="book hd">
<title lang="eng">Learning XML</title>
<price>39.95</price>
</book>
</bookstore>
# 选取XML节点
"""
@ 选取属性
bookstore 选取 bookstore 元素的所有子节点。
/bookstore 选取根元素 bookstore。注释:假如路径起始于正斜杠( / ),则此路径始终代表到某元素的绝对路径!
bookstore/book 选取属于 bookstore 的子元素的所有 book 元素。
//book 选取所有 book 子元素,而不管它们在文档中的位置。
bookstore//book 选择属于 bookstore 元素的后代的所有 book 元素,而不管它们位于 bookstore 之下的什么位置。
//@lang 选取名为 lang 的所有属性。
/bookstore/book[1] 选取属于 bookstore 子元素的第一个 book 元素。
/bookstore/book[last()] 选取属于 bookstore 子元素的最后一个 book 元素。
/bookstore/book[last()-1] 选取属于 bookstore 子元素的倒数第二个 book 元素。
/bookstore/book[position()<3] 选取最前面的两个属于 bookstore 元素的子元素的 book 元素。
//title[@lang] 选取所有拥有名为 lang 的属性的 title 元素。
//title[@lang='eng'] 选取所有 title 元素,且这些元素拥有值为 eng 的 lang 属性。
//book[contains(@class, 'book')] 选取 book 元素,且这些元素拥有class包含book的属性
/bookstore/book[price>35.00] 选取 bookstore 元素的所有 book 元素,且其中的 price 元素的值须大于 35.00。
/bookstore/book[price>35.00]/title 选取 bookstore 元素中的 book 元素的所有 title 元素,且其中的 price 元素的值须大于 35.00。
//book/title | //book/price 选取 book 元素的所有 title 和 price 元素。
//title | //price 选取文档中的所有 title 和 price 元素。
/bookstore/book/title | //price 选取属于 bookstore 元素的 book 元素的所有 title 元素,以及文档中所有的 price 元素。
"""
本文来自博客园,仅供参考学习,如有不当之处还望不吝赐教,不胜感激!转载请注明原文链接:https://www.cnblogs.com/rong-z/articles/16179934.html
作者:cnblogs用户