BeautifulSoup解析html - 简单的使用
''' 解析器: Python 内置标准库 优势:执行速度适中,文档容错能力强 BeautifulSoup(html,'html.parser') 3.7 or 3.2 容错能力较差 lxml HTML 速度快,文档容错能力强 (最常用) BeautifulSoup(html,'lxml') lxml XML 速度快 ,唯一支持xml解析 BeautifulSoup(html,'xml') html5lib 最好的容错性,速度慢,不依赖外部扩展 BeautifulSoup(html,'html5lib') ''' import requests from bs4 import BeautifulSoup response = requests.get('https://book.douban.com/') soup = BeautifulSoup(response.text, 'lxml') # 格式化(自动补全没有闭合标签) pret = soup.prettify() # print(pret) # 获取标签内容 print(soup.title.string.strip()) # soup.title.string 获取title标签的字符串 # 获取标签 print(soup.p) # (多个p标签)输出第一个p标签 # 获取标签名称 print(soup.title.name) # 获取属性2种方法 print(soup.p.attrs['name']) print(soup.p['name']) # 嵌套元素选择 print(soup.head.title.string) # 获取head > title 的内容 # 获取子节点标签 2中方法 print(soup.p.contents) # 返回list类型['<a>aaa</a>',....] 每个标签是一个元素 print(soup.p.children) # 返回list_itrator 类型 # 获取子节点和孙节点 print(soup.p.descendants) # 返回迭代器 # 获取父节点 print(soup.p.parent) # 获取祖先节点 print(soup.p.parents) # 获取兄弟节点 print(soup.p.next_siblings) # 下一个 print(soup.p.previous_siblings) # 上一个 # 标准选择器 # find_all(name,attr,recursive,text,**kwargs) # name (标签名称) print(soup.find_all('ul')) # 所有的 print(soup.find_all('ul')[0]) # 取第一个 for ul in soup.find_all('ul'): print(ul.find_all('li')[0]) # 返回tag类型 # attrs {'id': 'id1'} {'name': 'aaa'} print(soup.find_all(attrs={'name': 'elem'})[0].string) # 获取标签内容 # CSS 选择器 (select) print(soup.select('.ccc .box')[0].string) # 就是这么爽 # 获取属性 print(soup.select('.ccc .box')[0]['id']) print(soup.select('.ccc .box')[0].attrs['id']) # 获取内容 print(soup.select('.ccc .box')[0].get_text()) ''' 总结: 推荐使用lxml解析库,必要时使用html.parser 标签选择功能弱但是速度快 建议使用find(),find_all() 查询单个,或者多个 如果css选择器熟悉就用select() 记住常用的属性和文本值获取方法 '''