BeautifulSoup-bs4的简单使用

# 简单使用：
#     说明：选择器 jquery
#导入from bs4 import BeautifulSoup
#使用方式：可以将一个html文档，转化为一个对象，
# 然后通过对象的方法或者属性去查找指定对象
#转化本地文件soup = BeautifulSoup(open("本地文件"),'lxml')
#转化网络文件soup = BeautifulSoup(open("字符串或者字节类型"),'lxml')

from bs4 import BeautifulSoup

#生成对象
soup = BeautifulSoup(open("xx.html"),'lxml')
#打印  这是一个对象
print(soup)
#1、根据签名查找
#可以查找这个对象的所有HTML标签
print(soup.a)#<a href=""...>   a标签
print(soup.div) #div 标签
#2、获取标签中的属性 比如<a href=""...> 中有href和内容两部分属性
#<a href="http://www.baudu.com/meinv.jpg" title="" target="" >这里是内容</a>
print(soup.a['href'])
print(soup.a['title'])
print(soup.a['target'])
print(soup.a['attrs'])#找出所有属性和值并返回一个属性字典
#3、获取内容
#<a href="http://www.baudu.com/meinv.jpg" title="" target="" >这里是内容</a>
#以下三个都可以
print(soup.a.string)
print(soup.a.text)
print(soup.a.get_text())
#4、获取一个div中的内容  如下  来区别以上三个方法的不同
# <div>
#     甄姬
#     <p>百里守约</p>
#     <p>李白</p>
#     太乙真人
# </div>
print(soup.a.string)#只能获取标签里面只有文本的情况 标签里有别的标签就获取不到了 结果为None
print(soup.a.text)#这个方法里面有标签也可以获取所有文本内容
print(soup.a.get_text())#这个方法里面有标签也可以  和上一个效果一样
#5、soup.find('a')
print(soup.find("a"))#找到第一个符合要求的a
print(soup.find("a"),title="限制")#通过第二个参数来限制
print(soup.find("a"),alt="限制")
print(soup.find("a"),class_="限制")#class是关键字不能用，但是可以用class_
print(soup.find("a"),id="限制")

#如果有重复的 需要精确查找 自己定义限定块 再查找 代码如下
#find方法不仅soup可以调用，普通div对象也能调用，
# 会去指定的div里面查找符合要求的节点
div = soup.find('div',class_="第一个限制块")
print(div.find('a',class_="第二个限制条件"))
#6、find_all()  和上面的find差不多
lt = soup.find_all('a')
print(lt,len(lt))#会产生一个列表 ，里面会有几个查找到的元素
div = soup.find_all('div',class_="第一个限制块")
print(div.find_all('a',class_="第二个限制条件"))
print(div.find_all('a','b')
print(div.find_all('a',limit=2)#找到所有取出前2个
#7、select 根据选择器选择指定的内容
#常见选择器：标签选择器、类选择器、id选择器、层级选择器、伪类选择器、属性选择器、组合选择器
#a  标签a
# .dudu 类选择器
# #lala id选择器
# 层级选择器举例  div .dudu #lala .meme .xixi    下面好多级
#建议层级选择器写法：div>p>a>.lala  这样只能找下面一级
print(soup.select(".tang>ul>li>a")[2])  #返回的是列表 这个是取第三个
print(soup.select("#feng")[0].text|['href'])#取查找到的第一个  。text并只找文本
#select选择器返回的永远是列表  需要通过下标提取指定的对象，然后获取属性和节点