beautifulsoup学习记录
BeautifulSoup库总结
1、BeautifulSoup库作用
2、BeautifulSoup()方法
3、find()、find_all()、selector()、get()方法
1、BeautifulSoup库作用
- 用于将爬取到的网页源码（用requests库完成）解析为soup文档，这样做的好处是可以再用BeautifulSoup库中的过滤函数（方法）过滤提取数据
2、BeautifulSoup()方法
-
基本用法：
from bs4 import BeautifulSouop
soup = BeautifulSoup(res.text,'html.parser')这里res是用request的get方法得到的数据，这里暂时省略。
print(soup.prettify())
BeautifulSoup方法将res.text（注意要是text格式）解析成标准的html缩进格式数据放入变量'soup'中，这时'soup'是一个soup对象，可以使用BeautifulSoup库的其他方法来提取想要的内容具体看下面的方法。
BeautifulSoup支持的解析器如下：
解析器名 使用方法 优点 缺点 Python标准库 BeautifulSoup(markup,"html.parser") Python内置，速度适中，文档容错能力强 旧版本存在容错能力差的情况 lxml HTML解析器 BeautifulSoup(markup,"lxml") 速度快，文档容错能力强；（推荐） 需要安装C库 Lxml XML解析器 BeautifulSoup(markup,"xml") 速度快，唯一支持XML的解析器 同上 html5lib BeautifulSoup(markup,"html5lib") 容错性最好，以浏览器方式解析文档，生成HTML5格式的文档 速度慢
3、find()、find_all()、selector()、get()方法
-
find_all()方法
soup.find_all('div',"item")查找div标签，class = "item"
soup.find_all('div',class = 'item') #结果和前一句一样
soup.find_all('div',attrs = {"class":"item"}) #attrs参数定义一个字典参数来搜索包含特殊属性的tag
find_all()方法搜索当前soup对象的所有tag子节点(soup对象就是由各种html节点构成的)并判断是否符合过滤器的条件：
find_all(name,attrs/class,recursive,string,**kwargs)
name参数可以查找所有标签名为name的tag
1、字符串对象自动忽略掉
例：soup.find_all("title")
1.2、多标签搜索
例：soup.find_all(name = ['div','p'])
2、基于标签属性查找如：attrs/class_/id/title/...
2.1、通用方式属性搜索——attrs
soup.find_all(attrs = {'data-custom':'custom'})
2.2、css类名搜索——class_ （注意下划线）
通过class_参数搜索由指定css类名的tag（可简写）：
soup.find_all("a","sister")#class_ = "sister"
若tag的class属性是多值属性，按照css类名搜索tag时，可以分别搜索tag中的每个css类名：
例如：
CSS_soup = BeautifulSoup('<p class = "body strikeout">')
CSS_soup.find_all("p",class_ = "strikeout") #<p class = "body strikeout">
CSS_soup.find_all("p",class_ = "body")
也可以通过CSS值完全匹配来查找
3、string
3.1、搜索文档中的字符串内容，string参数接受字符串，正则表达式，列表，True。
3.2、与其他参数混合过滤
soup.find_all("a",string = "Else")
soup的内容为：[<a href = "http..." class = "sister">Else]
4、限定直接子节点——recursive
加入参数recursive = False 则会只搜索tag的直接子节点
-
selector方法
soup.select('div.item > a > h1')
要加单引号，括号内容可以通过浏览器复制得到（鼠标右键目标内容然后点击copy selector
！！！li:nth-child(1)需要改为li:nth-of-type(1)
需要注意这种方法得到的结果是会带有标签的，使用get_text()方法即可获得其中的文本内容
即在使用完select后再soup2 = soup.get_text().strip()
补充：
strip()函数是用于移除字符串开头和末尾的指定字符（默认为空格）或字符序列的方法。下面是使用strip()函数的基本语法：
string.strip([characters])
其中，string是要操作的字符串，characters是可选参数，用于指定要移除的字符或字符序列。下面是一些示例：
移除字符串开头和末尾的空格：
s = " Hello, World! "
print(s.strip()) # 输出: "Hello, World!"
移除字符串开头和末尾的指定字符：
s = "Hello, World!"
print(s.strip("*")) # 输出: "Hello, World!"
移除字符串开头和末尾的多个指定字符序列：
s = "~Hello,World~~~"
print(s.strip("~")) # 输出: "Hello, World!"
需要注意的是，strip()函数返回一个新的字符串，并不会修改原始字符串。如果想要移除字符串中间的字符，可以考虑使用其他字符串处理方法，比如replace()函数或正则表达式等。
-
get()方法
BeautifulSoup解析得到的soup对象有一个get()方法。该方法用于获取标签（HTML元素）的属性值。
使用get()方法时，你需要传递属性名作为参数。如果该属性存在，get()方法将返回对应的属性值；如果属性不存在，get()方法可以返回默认值（可选参数）或者None。
注意区分字典、requests库和beautifulsoup库中的get方法，它们的作用分别是取键值、向网址请求获取网页资源、获取属性值。
