005 Python网络爬虫与信息提取 Beautiful Soup库入门
Beautiful Soup库的中文文档: https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html#
[A] Beautiful Soup库简介
Beautiful Soup库,也叫 beautifulsoup4 库 或 bs4 库
Beautiful Soup库可以对爬取的任何 html 和 XML 进行解析,它将爬取的内容当做一锅汤,可以巧妙地煲好这锅汤。
[B] Beautiful Soup库安装
1. Pycharm 库安装
2. 在终端打开 python 运行环境,执行指令:pip install beautifulsoup4
[C] Beautiful Soup库的而基本使用
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
import requests
# 1. 获取网站的html代码,存储在demo中
url = 'http://python123.io/ws/demo.html'
r = requests.get(url)
demo = r.text
print(type(demo)) # 返回<class 'str'>
# 2. 利用bs库处理html代码
from bs4 import BeautifulSoup
soup = BeautifulSoup(demo, 'html.parser')
print(type(soup)) # 返回<class 'bs4.BeautifulSoup'>
print(soup.prettify()) # 返回排列好的html代码(未被丑化的)
[D] Beautiful Soup库的基本元素
1. Beautiful Soup库是解析,遍历,维护 "标签树" 的功能库,只要提供的是标签树,该库都能对其进行解析
2. 首先,html代码 或者 标签树 被转化成BeautifulSoup类,然后就可以进行操作了
Beautiful Soup 库解析器有四种:
解析器 | 使用方法 | 使用条件 |
bs4的HTML解析器 | BeautifulSoup(mk, 'html.parser') | 安装bs4库 |
lxml的HTML解析器 | BeautifulSoup(mk, 'lxml') | pip install lxml |
lxml的的XML解析器 | BeautifulSoup(mk, 'xml') | pip install lxml |
html6lib的解析器 | BeautifulSoup(mk, 'html5lib') | pip install html5lib |
Beautiful Soup类的基本元素:
基本元素 | 说明 |
Tag | 标签,最基本的信息组织单元,分别用<>和</>表明开头和结尾 |
Name | 标签的名字,<p>...</p>的名字为'P', 格式为:<tag>.name |
Attributes | 标签的属性,字典形式组织,格式: <tag>.attrs |
NavigableString | 标签内非属性字符串,<>...</>之间的字符串,格式为:<tag>.string |
Comment | 标签内字符串的注释部分,一种特殊的Comment类型 |
text | 返回字符串,内容为所解析的标签内的文本 |
BeautifulSoup类包含了所解析的html页面的所有信息,可以通过调用相应属性来获取指定内容
import requests
from bs4 import BeautifulSoup
# 1. 首先通过requests库爬取html代码
r = requests.get('http://python123.io/ws/demo.html')
demo = r.text
# 2. 煲汤
soup = BeautifulSoup(demo, 'html.parser')
1. BeautifulSoup类.标签名 通过标签名获取指定标签的内容,若有多个同类标签免责返回第一个
如:soup.p 获取p标签的完整信息
// 返回 <p class="title"><b>The demo python introduces several python courses.</b></p>
2. BeautifulSoup类.标签名.name 获取指定标签的名字
如:soup.p.name 获取p标签的名称
// 返回 p
3. BeautifulSoup类.标签名.attrs 获取指定标签的属性(即行内属性)
如:soup.a.attrs 获取a标签的属性对象
// 返回 {'href': 'http://www.icourse163.org/course/BIT-268001', 'class': ['py1'], 'id': 'link1'}
4. BeautifulSoup类.标签名.string 获取指定标签内的内容字符串
如:soup.p.string 获取指定标签内的文本内容(可穿透嵌套的标签
5. BeautifulSoup类.标签名.string 获取指定标签内的注释部分
如:soup.p.string 获取p标签终中的注释内容
注意:4 和 5 方法一样但是获取的内容一个是内容信息,一个是注释信息,需要用type()方法来判断具体是哪一类信息
6. BeautifulSoup类.text 或 BeautifulSoup类.p.text
如:soup.text,soup.p.text 获取所解析内容的标签内的文本,或者指定标签内的文本,返回值为字符串
[E] 基于bs 库的 HTML内容遍历方法
1. HTML标签树,可以看作一个树结构
2. 标签树的遍历分为三种方式:下行遍历,上行遍历和平行遍历
3. 三种遍历方式图解如图:
标签树的下行遍历:
属性 | 节点 |
.contents | 子节点的列表,将<tag>所有子节点存入一个列表 |
.children | 子节点的迭代类型,与.contents类似,用于循环遍历子节点 |
.descendants | 子孙节点的迭代类型,包含所有子孙节点,用于循环遍历 |
标签树的上行遍历:
属性 | 说明 |
.parent | 节点的父亲标签 |
.parents | 节点先辈标签的迭代烈性,用于循环遍历先辈节点 |
标签的上行遍历代码示例:
import requests from bs4 import BeautifulSoup # 1. 首先通过requests库爬取html代码 r = requests.get('http://python123.io/ws/demo.html') demo = r.text # 2. 煲汤 soup = BeautifulSoup(demo, 'html.parser') for parent in soup.a.parents: if parent is None: print(parent) else: print(parent.name)
标签树的平行遍历:
属性 | 说明 |
.next_sibling | 返回按照HTML文本顺序的下一个平行节点标签 |
.previous_sibling | 返回按照HTML文本顺序的上一个平行节点标签 |
.next_siblings | 迭代类型,返回按照HTML文本顺序的后续所有平行节点标签 |
.previous_siblings | 迭代类型,返回按照HTML文本顺序的前续所有平行节点标签 |
[F] 基于bs4库的HTML格式输出和编码
1. 如何让HTML页面更友好的显示
prettify()方法,为HTML标签添加换行符,使得代码打印时的结构更加清晰
2. bs4库将读入的任何HTML代码和字符串,都进行utf-8编码