Python BeautifulSoup4 我碰到的一些不常用的用法
1、查找某些无属性、无样式的标签
如果在某个ul下,有多个li,一半是有样式,一半是没有的,而刚好他们是两个类别,你也恰好需要这两个,例如:
html = '''
<ul>
<li>hello world!</li>
<li class="hh">hello world!</li>
</ul>
'''
倘若数量少,或是有奇偶对称倒好说,但如果是随机呢,之前记得xpath里,是有可以通过not(@属性)的方式,但是bs4里并没有,然后查了半天,翻到这篇,那我们可以设置class为False。
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
# 注意不要把False带上引号
no_tag = soup.find('li',{'class':False})
2、多个查找条件
倘若比如a标签的class和alt标签每个单独都不是唯一的,但是组合在一起是唯一的,例如
html = '''
<a class="nav-span" href="//bbs.qyer.com/" data-bn-ipg="head-nav-community" title="穷游论坛">社区</a>
'''
我们知道attrs是个字典,里面可以包含多组key-value,不过一开始没有想到,后来突然想到的,只需要在attrs(可省略)里加入就好,不过很少有这样用的情况,
soup.find('a',{'class':'nav-span','data-bn-ipg':'head-nav-community'})
我在测试的时候发现个不稳定因素,测试用的ipython。
可以看到title中有中文,我们查找返回的是unicode编码,你扔中文进去也不一定对,但是我测试成功了一次,而且是爬的整个页面,然后直接测试的,但建议还是不要使用有中文的作为查询条件。
3、查找某个属性的class返回的是个列表,因为可能class会有多个样式,而id只有一个,且唯一
html1 = '''
<p class="type" id="city">房型:双人间</p>
'''
可以看到class返回的是个列表,而id是字符串。
并且测试的时候发现,当html里除了一个id标签没有其他标签时,试图直接用soup.p[‘id’]的时候都会报错,这也是为什么我前面扔了一个同时有class和id的html,错误如图:
原因在于id因为是属性,一般用的时候是和attrs一起用,现发现也可以省略,它要想获得它的id,必须先获得这整个html及其内容,然后再获取其内容。所以如果只有id这个标签,必须先将soup.p赋给一个变量,然后用这个变量去获得id值:
本文来自博客园,作者:苏酒酒,转载请注明原文链接:https://www.cnblogs.com/sujiujiu/p/15370025.html