'''
BeautifulSoup4将复杂HTML文档转换成一个复杂的树形结构，每个节点都是Python对象，所有对象可以归纳为4种：
- Tag
- NavigableString
-BeautifulSoup
-Comment
'''
from bs4 import BeautifulSoup
file = open("./baidu.html","rb") #打开一个文档
html = file.read().decode("utf-8") #读取文档内容
bs = BeautifulSoup(html,"html.parser") #使用BeautifulSoup去解析文档内容
'''
# print(bs.title) #返回 <title>百度一下，你就知道 </title>
# print(bs.head)
# print(bs.a)
# print(bs.html)
# print(bs.div)
print(type(bs.head)) #返回<class 'bs4.element.Tag'>
# 1.Tag 标签及其内容，拿到找到的第一个内容
# print(bs.title.string) #获得标签里的内容,返回 百度一下，你就知道
print(type(bs.title.string)) #返回<class 'bs4.element.NavigableString'>
# 2.NavigableString 标签里的内容(字符串)
# print(bs.a.attrs) #返回标签内所有属性(以字典的形式)
print(type(bs.a.attrs)) #返回 <class 'dict'>
print(type(bs)) #返回 <class 'bs4.BeautifulSoup'>
# 3. BeautifulSoup 表示整个文档
# print(bs.name) #返回 [document]
# print(bs.attrs)
# print(bs) #返回整个文档内容
# print(bs.a.string)
print(type(bs.a.string)) #返回 <class 'bs4.element.Comment'>
# 4.Comment 是一个特殊的 NavigableString ，但输出的内容不包含注释符号
'''
#------------------------------------------------------
#文档的遍历
'''
print(bs.head.contents) #以列表的形式返回head里面的内容
print(bs.head.contents[1]) #根据返回列表的内容进行筛选打印
# 参考学习：https://blog.csdn.net/qq_42554007/article/details/90675142
# https://www.cnblogs.com/wlx97e6/p/9960272.html
'''
# 文档搜索
# 1.find_all()
# 针对标签的字符过滤查找，返回与标签字符串完全匹配的标签以内的内容
# t_list = bs.find_all("a")
# 正则表达式搜索：使用search()方法来匹配内容
import re
# 针对标签的字符过滤查找，返回与标签字符串匹配(只要标签中含有对应字符串)的标签以内的内容
# t_list = bs.find_all(re.compile("a"))
# 方法：传入一个函数(方法)，根据函数的要求来搜索
'''
def name_is_exists(tag):
return tag.has_attr("name") #标签内容中含有 name 参数属性的内容
t_list = bs.find_all(name_is_exists)
for item in t_list:
print(item)
'''
# 2.kwargs 参数
'''
# t_list = bs.find_all(id="head") #返回有id="head" 参数在内的内容
# t_list = bs.find_all(class_=True) #class_=True 是指匹配包含参数class 在内的内容
t_list = bs.find_all(href=True) ##href=True 是指匹配包含参数 href 在内的内容
for item in t_list:
print(item)
'''
# 3. text 参数
'''
# t_list = bs.find_all(text="贴吧") #利用text直接返回对应匹配的文本
# t_list = bs.find_all(text=["贴吧","hao123","地图"]) #利用text直接返回对应匹配的文本
t_list = bs.find_all(text=re.compile("\d")) #应用正则表达式查找包含特定文本的内容(标签里的字符串)，\d 是指数字
for item in t_list:
print(item)
'''
# 4.limit 参数
'''
t_list = bs.find_all("a",limit=4) #limit限制返回数量
for item in t_list:
print(item)
'''
# 5.CSS选择器
t_list = bs.select("title") #通过标签来查找
t_list = bs.select(".mnav") #通过类名(class="mnav" )来查找
t_list = bs.select("#u1") #通过id(id="u1">)来查找
t_list = bs.select("a[class='bri']") #通过属性来查找："a[class='bri']") 是通过a标签中的class='bri' 属性来查找
t_list = bs.select("head > title") #通过子标签来查找，在head标签里找到title标签的内容
t_list = bs.select("div > a")
# for item in t_list:
# print(item)
t_list = bs.select(".mnav ~ .bri") #通过兄弟标签(与mnav同类级别的bri)来查找
print(t_list)
print(t_list[0])
print(t_list[0].get_text()) #get_text() 取文本内容
