基于BeautifulSoup库的HTML内容的查找

一、BeautifulSoup库提供了一个检索的参数:

<>.find_all(name,attrs,recursive,string,**kwargs),它返回一个列表类型，存储查找的结果。它的一些对应的简写形式是：

　　<tag>(...) <=> <tag>.find_all(...)

　　soup.(...) <=> soup.find_all(...)

•name：按照标签名称进行检索，可以同时对多个标签名称同时检索

•attr：按照标签的属性值进行检索，可以标注为属性检索

•recursive：是否对子孙全部检索，默认为True

•string：对标签中字符串区域进行检索，<>...string...</>

 

import requests
from bs4 import BeautifulSoup
import re

r = requests.get('http://python123.io/ws/demo.html')
r.raise_for_status()
r.encoding = r.apparent_encoding
demo = r.text
soup = BeautifulSoup(demo,"html.parser")

print(soup.find_all('a'))#按照name进行检索
print(soup.find_all(['a','b']))#同时对多个name标签进行检索
for tag in soup.find_all(re.compile('b')):#对以b开头的所有标签进行检索
    print(tag.name)
    print(tag)

print("")
print(soup.find_all('p','course'))#按照标签里面的属性值进行检索
print(soup.find_all(id='link1'))#按照指定的属性的属性值进行检索，严格匹配
print(soup.find_all(id = re.compile('link')))#特定属性值的不严格匹配

print("")
print(soup.find_all('a',recursive = False))#不对所有子孙检索，只检索儿子节点,起点是html标签，如果返回的是空列表[],就代表a标签是在儿子标签之后的标签里面

print(soup.find_all(string = 'Basic Python'))#检索字符串，严格匹配
print(soup.find_all(string = re.compile('Python')))#不严格匹配

 

 

 

二、<>find_all(..)的扩展方法

方法	说明
<>.find()	搜索，只返回一个结果，字符串类型，同.find_all()参数
<>.find_parent()	在先辈中搜索，只返回一个结果，返回字符串类型，同.find()参数
<>.find_parents()	在先辈中搜索，返回列表类型，同.find_all()参数
<>.find_next_sibling()	在后续平行节点中搜索，只返回一个结果，返回字符串类型，同.find()参数
<>.find_next_siblings()	在后续平行节点中搜索，返回一个列表类型，同.find_all()参数
<>.find_previous_sibling()	在前续平行节点中搜索，只返回一个结果，返回字符串类型，同参.find()数
<>.find_previous_siblings()	在前续平行节点中搜索，返回一个列表类型，同.find_all()参数