1月12日学习内容整理：解析库Beautifulsoup模块
一、介绍
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful Soup3 的文档,Beautiful Soup 3 目前已经停止开发,官网推荐在现在的项目中使用Beautiful Soup 4, 移植到BS4
官网推荐使用lxml作为解析器,因为效率更高. 在Python2.7.3之前的版本和Python3中3.2.2之前的版本,必须安装lxml或html5lib, 因为那些Python版本的标准库中内置的HTML解析方法不够稳定.
二、基本使用
html_doc = """ <html><head><title>The Dormouse's story</title></head> <body> <p class="title"><b>The Dormouse's story</b></p> <p class="story">Once upon a time there were three little sisters; and their names were <a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>, <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>; and they lived at the bottom of a well.</p> <p class="story">...</p> """ #基本使用：容错处理,文档的容错能力指的是在html代码不完整的情况下,使用该模块可以识别该错误。使用BeautifulSoup解析上述代码,
#能够得到一个 BeautifulSoup 的对象,并能按照标准的缩进格式的结构输出 from bs4 import BeautifulSoup soup=BeautifulSoup(html_doc,'lxml') #具有容错功能 res=soup.prettify() #处理好缩进，结构化显示 print(res)
（1）引入：
from bs4 import BeautifulSoup
（2）实例化对象：
》》传入一个标签字符串
soup=BeautifulSoup(标签字符串，"html.parser") 后者是python自带的解析器，我们一般用官网推荐的lxml
得到了BeautifulSoup对象，也就是整篇文档对象
》》也可以传入文件句柄
soup=BeautifulSoup(open('文件名','w',encoding='utf-8')，"lxml")
（3）结果结构化显示，也就是标准格式，处理好缩进
soup.prettify()
三、遍历文档树
首先实例化beautifulsoup对象
from bs4 import BeautifulSoup soup=BeautifulSoup(html_doc,'lxml') #具有容错功能
一定注意一点，找到多个只返回一个
#遍历文档树：即直接通过标签名字选择，特点是选择速度快，但如果存在多个相同的标签则只返回第一个 #1、用法 #2、获取标签的名称 #3、获取标签的属性 #4、获取标签的内容 #5、嵌套选择 #6、子节点、子孙节点 #7、父节点、祖先节点 #8、兄弟节点
（1）获取某个标签
直接用soup点标签名就可以，一定注意只返回一个标签，是beautifulsoup对象
print(soup.p) #存在多个相同的标签则只返回第一个 print(soup.a) #存在多个相同的标签则只返回第一个
（2）获取标签名
print(soup.p.name)
（3）获取标签的属性，返回字典形式，key就是属性名，value就是属性值
print(soup.p.attrs)
（4）获取标签的文本内容
# 获取p标签的文本值，注意这里要求p标签有且只有唯一的文本值，指的是包括p标签本身在内以及包含的所有子标签的文本值有且只能找到一个，换行符也算，否则string会返回None print(soup.p.string) # 获取p标签内部的所有文本内容，返回一个生成器对象 print(soup.p.strings) #去掉文本两边的空白，同样返回一个生成器对象 print(soup.stripped_strings) ''' 如果tag包含了多个子节点,tag就无法确定 .string 方法应该调用哪个子节点的内容, .string 的输出结果是 None，如果只有一个子节点那么就输出该子节点的文本，比如下面的这
种结构，soup.p.string 返回为None,但soup.p.strings就可以找到所有文本 <p id='list-1'> 哈哈哈哈 <a class='sss'> <span> <h1>aaaa</h1> </span> </a> <b>bbbbb</b> </p> '''
（5）嵌套查找：可以一级一级的找下去，注意只能返回第一个节点
print(soup.head.title.string) print(soup.body.a.string)
（6）子节点
# p标签下的所有子节点，注意只是儿子节点，不包括孙子之类，返回列表 print(soup.p.contents) # 也是找所有的儿子节点，不同的是返回一个迭代器 print(soup.p.children)
（7）后代节点，子子孙孙
# 找出p标签包含的所有标签，也就是所有后代节点，返回一个生成器 print(soup.p.descendants)
（8）父节点
# 获取a标签的父节点，只是上一级的节点，不是爷爷之类，直接返回beautifulsoup对象 print(soup.a.parent)
（9）祖先节点
#找到a标签所有的祖先节点，父亲的父亲，父亲的父亲的父亲...等，返回一个生成器 print(soup.a.parents)
（10）兄弟节点
#下面的第一个兄弟节点，直接返回beautifulsoup对象 print(soup.a.next_sibling) # 上面的第一个兄弟节点，直接返回beautifulsoup对象 print(soup.a.previous_sibling) # 下面的所有兄弟节点，返回一个生成器 print(list(soup.a.next_siblings)) # 上面的所有兄弟节点，返回一个生成器 print(soup.a.previous_siblings)
四、搜索文档树
（1）5种过滤器
注意：name代表标签名，id代表id值，class_代表class值
#1、五种过滤器: 字符串、正则表达式、列表、True、方法 #1.1、字符串：即标签名，与标签名完全匹配 print(soup.find_all('b')) #1.2、正则表达式 import re print(soup.find_all(re.compile('^b'))) #找出b开头的标签，结果有body和b标签 #1.3、列表：如果传入列表参数,Beautiful Soup会将与列表中任一元素匹配的内容返回.下面代码找到文档中所有<a>标签和<b>标签，表示或的关系 print(soup.find_all(['a','b'])) #1.4、True：可以匹配任何值,下面代码查找到所有的tag,但是不会返回字符串节点，返回列表 print(soup.find_all(True)) for tag in soup.find_all(True): print(tag.name) # 就代表所有有id值的标签 print(soup.find_all(id=True)) #1.5、方法:如果没有合适过滤器,那么还可以定义一个方法,方法只接受一个元素参数 ,如果这个方法返回 True 表示当前元素匹配并且被找到,如果不是则反回 False def has_class_but_no_id(tag): return tag.has_attr('class') and not tag.has_attr('id') #不用加括号，直接写方法名，返回true的标签会保留 print(soup.find_all(has_class_but_no_id))
（2）find_all方法
find_all( name , attrs , recursive , text , **kwargs ) 返回列表，列表中是符合查找要求的标签，也就是beautifulsoup对象
》》》》参数
1）name
#name: 搜索name参数的值可以使任一类型的 过滤器 ,字符窜,正则表达式,列表,方法或是 True .查找所有标签名一t开头的标签 print(soup.find_all(name=re.compile('^t')))
2）**kwargs：就是key=value这样的形式
#keyword: key=value的形式，value可以是过滤器：字符串 , 正则表达式 , 列表, True . print(soup.find_all(id=re.compile('my'))) print(soup.find_all(href=re.compile('lacie'),id=re.compile('\d'))) #注意类要用class_ print(soup.find_all(id=True)) #查找有id属性的标签
3）attrs
#attrs,用字典的形式
print(soup.find_all('p',attrs={'class':'story'}))
4）text
#text: 值可以是：字符，列表，True，正则 print(soup.find_all(text='Elsie')) #注意这样写只是会返回文本内容，因为没有指定哪个标签 print(soup.find_all('a',text='Elsie')) #要把标签名加上，才会返回查找到的标签
5）recursive：递归查找，默认是True，是false的话代表在查找的时候不会一级一级往下找，而是只找到儿子节点就返回，子孙节点就不会被找到
#recursive:调用tag的 find_all() 方法时,Beautiful Soup会检索当前tag的所有子孙节点,如果只想搜索tag的直接子节点,可以使用参数 recursive=False . print(soup.html.find_all('a')) print(soup.html.find_all('a',recursive=False))
6）补充
# 有些tag属性在搜索不能使用,比如HTML5中的 data-* 属性: data_soup = BeautifulSoup('<div data-foo="value">foo!</div>','lxml') # data_soup.find_all(data-foo="value") #报错：SyntaxError: keyword can't be an expression # 但是可以通过 find_all() 方法的 attrs 参数定义一个字典参数来搜索包含特殊属性的tag: print(data_soup.find_all(attrs={"data-foo": "value"})) # [<div data-foo="value">foo!</div>] #按照类名查找，注意关键字是class_，class_=value,value可以是五种选择器之一 print(soup.find_all('a',class_='sister')) #查找类为sister的a标签 print(soup.find_all('a',class_='sister ssss')) #查找类为sister和sss的a标签，顺序错误也匹配不成功 print(soup.find_all(class_=re.compile('^sis'))) #查找类为sister的所有标签 #limit参数:如果文档树很大那么搜索会很慢.如果我们不需要全部结果,可以使用 limit 参数限制返回结果的数量.效果与SQL中的limit关键字类似,当搜索到的结
#果数量达到 limit 的限制时,就停止搜索返回结果 print(soup.find_all('a',limit=2)) #只返回前2个
注意
''' 像调用 find_all() 一样调用tag find_all() 几乎是Beautiful Soup中最常用的搜索方法,所以我们定义了它的简写方法. BeautifulSoup 对象和 tag 对象可以被
当作一个方法来使用,这个方法的执行结果与调用这个对象的 find_all() 方法相同,下面两行代码是等价的: soup.find_all("a") soup("a") 这两行代码也是等价的: soup.title.find_all(text=True) soup.title(text=True) '''
（3）find方法
和find_all方法参数一样，用法相同，只是find直接返回找到的第一个标签，也就是beautifulsoup对象
#3、find( name , attrs , recursive , text , **kwargs ) find_all() 方法将返回文档中符合条件的所有tag,尽管有时候我们只想得到一个结果.比如文档中只有一个<body>标签,
那么使用 find_all() 方法来查找<body>标签就不太合适, 使用 find_all 方法并设置 limit=1 参数不如直接使用 find() 方法.下面两行代码是等价的: soup.find_all('title', limit=1) # [<title>The Dormouse's story</title>] soup.find('title') # <title>The Dormouse's story</title> 唯一的区别是 find_all() 方法的返回结果是值包含一个元素的列表,而 find() 方法直接返回结果. find_all() 方法没有找到目标是返回空列表, find() 方法找不到目标时,返回 None . print(soup.find("nosuchtag")) # None soup.head.title 是 tag的名字 方法的简写.这个简写的原理就是多次调用当前tag的 find() 方法: soup.head.title # <title>The Dormouse's story</title> soup.find("head").find("title") # <title>The Dormouse's story</title>
（4）css选择器：返回列表
soup.p.select（这里就写css选择器语法就可以）
#1、CSS选择器 print(soup.p.select('.sister')) print(soup.select('.sister span')) print(soup.select('#link1')) print(soup.select('#link1 span')) print(soup.select('#list-2 .element.xxx')) print(soup.select('#list-2')[0].select('.element')) #可以一直select,但其实没必要,一条select就可以了 # 2、获取属性 print(soup.select('#list-2 h1')[0].attrs) # 3、获取内容 print(soup.select('#list-2 h1')[0].get_text())
（5）其它方法
官网：
https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html#find-parents-find-parent
五、修改文档树
链接：https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html#id40
# 总结: #1、推荐使用lxml解析库 #2、讲了三种选择器:标签选择器,find与find_all，css选择器 1、标签选择器筛选功能弱,但是速度快 2、建议使用find,find_all查询匹配单个结果或者多个结果 3、如果对css选择器非常熟悉建议使用select #3、记住常用的获取属性attrs和文本值get_text()的方法
补充一些内容：
》》soup.text 或者 soup.get_text() 拿到标签字符串中所有的文本
标签对象tag，就是查找到的标签，也就是beautifulsoup对象，循环find_all返回的列表得到的就是一个个标签beautifulsoup对象
》》tag.get("属性名") 得到这个标签指定的属性值
》》tag.text 获取文本
》》tag[属性名] 获取属性值
》》tag.attrs 对应的所有属性和属性值，是个字典
》》tag.string.replace_with("xxxx") 也是获取到文本，并将文本替换为指定的内容
》》tag.name 获取到标签名
标签对象的方法
》》tag.clear() 清空标签中的内容，并不清除标签本身
》》tag.decompose() 从文档中完全移除标签
