1 使用细节
- 将一段文档传入
BeautifulSoup
的构造方法,就能得到一个文档的对象,; - 可以传入一段字符串或一个文件句柄,比如:
from bs4 import BeautifulSoup
soup = BeautifulSoup(open("index.html"))
soup = BeautifulSoup("<html>data</html>")
2 对象的种类
2.1 种类说明
Beautiful Soup
将HTML
文档转换成一个树形结构,每个节点都是Python
对象;- 所有对象为4种:
Tag , NavigableString , BeautifulSoup , Comment .
2.2 Tag对象
from bs4 import BeautifulSoup
soup = BeautifulSoup('<b class="boldest">Extremely bold</b>', 'html.parser')
tag = soup.b
print(type(tag))
<class 'bs4.element.Tag'>
- tag很很多属性,两个最重要的属性:
name和attributes
2.2.1 name属性
print(tag.name)
b
tag.name = "blockquote"
print(tag)
<blockquote class="boldest">Extremely bold</blockquote>
2.2.2 attributes属性
- 一个
tag
可能有很多个属性. tag <b class="boldest">
有一个 “class”
的属性,值为 “boldest” . ta
g的属性的操作方法与字典相同:
print(tag["class"])
['boldest']
- 也可以直接”点”取属性, 比如:
.attrs
:
print(tag.attrs)
{'class': ['boldest']}
tag
的属性可以被添加,删除或修改. 操作方法与字典一样:
tag['class'] = 'verybold'
tag['id'] = 1
print(tag)
del tag['class']
del tag['id']
print(tag)
print(tag.get('class'))
<blockquote class="verybold" id="1">Extremely bold</blockquote>
<blockquote>Extremely bold</blockquote>
None
2.2.3 多值属性
- 最常见的多值的属性是
class
(一个tag
可以有多个CSS的class
).; - 还有一些属性
rel , rev , accept-charset , headers , accesskey
.; - 在
Beautiful Soup
中多值属性的返回类型是list
:
css_soup = BeautifulSoup('<p class="body strikeout"></p>', 'html.parser')
print(css_soup.p['class'])
css_soup = BeautifulSoup('<p class="body"></p>', 'html.parser')
print(css_soup.p['class'])
['body', 'strikeout']
['body']
2.3 NavigableString对象
- 用
NavigableString
类来包装tag
中的字符串;
soup = BeautifulSoup('<b class="boldest">Extremely bold</b>', 'html.parser')
print(tag.string)
print(type(tag.string))
Extremely bold
<class 'bs4.element.NavigableString'>
- 使用
replace_with()
方法替换tag
中的字符串:
tag.string.replace_with("No longer bold")
print(tag)
<blockquote>No longer bold</blockquote>
2.4 BeautifulSoup对象
BeautifulSoup
对象表示的是一个文档的全部内容;- 它支持
遍历文档树
和 搜索文档树
中描述的大部分的方法; - 包含了一个值为
“[document]”
的特殊属性:
print(soup.name)
[document]
2.5 Comment对象
Comment
对象是一个特殊类型的 NavigableString
对象;Comment
可以对注释进行解析;
markup = "<b><!--Hey, buddy. Want to buy a used parser?--></b>"
soup = BeautifulSoup(markup, 'html.parser')
comment = soup.b.string
print(comment)
print(type(comment))
Hey, buddy. Want to buy a used parser?
<class 'bs4.element.Comment'>
3 本文涉及的源码
from bs4 import BeautifulSoup
soup = BeautifulSoup('<b class="boldest">Extremely bold</b>', 'html.parser')
tag = soup.b
print(type(tag))
print(tag.name)
tag.name = "blockquote"
print(tag)
print(tag["class"])
print(tag.attrs)
tag['class'] = 'verybold'
tag['id'] = 1
print(tag)
del tag['class']
del tag['id']
print(tag)
print(tag.get('class'))
css_soup = BeautifulSoup('<p class="body strikeout"></p>', 'html.parser')
print(css_soup.p['class'])
css_soup = BeautifulSoup('<p class="body"></p>', 'html.parser')
print(css_soup.p['class'])
print(tag.string)
print(type(tag.string))
tag.string.replace_with("No longer bold")
print(tag)
print(soup.name)
markup = "<b><!--Hey, buddy. Want to buy a used parser?--></b>"
soup = BeautifulSoup(markup, 'html.parser')
comment = soup.b.string
print(comment)
print(type(comment))
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· 开源Multi-agent AI智能体框架aevatar.ai,欢迎大家贡献代码
· Manus重磅发布:全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
· 没有Manus邀请码?试试免邀请码的MGX或者开源的OpenManus吧