网络爬虫的提取
0x00 beautiful soup
首先安装beautiful soup，直接在cmd中使用pip install beautifulsoup4命令执行安装，若使用pycharmIDE 的话，参考之前安装requests库的方法。
beautiful soup库是解析、遍历、维护标签树的功能库。
beautiful soup库解析器：
beautiful soup类的基本元素：
以一个网页为例：https://python123.io/ws/demo.html
先用requests库获取该url页面的内容并将内容赋值给demo
import requests url = "https://python123.io/ws/demo.html" r = requests.get(url) demo = r.text print(demo)
接着开始使用beautiful soup
from bs4 import BeautifulSoup soup = BeautifulSoup(demo, "html.parser")
这时，soup变量就是解析后的demo页面
接着就可以查看该页面的详细信息了
我们可以查询a标签的名字、a的父标签的名字、a的父标签的父标签的名字
print(soup.a.name) print(soup.a.parent.name) print(soup.a.parent.parent.name)
也可以查询标签的属性：
attr = soup.a.attrs print(attr)
返回的值是一个字典，我们可以通过键来查询对应的值
print(attr["class"])
接下来是string方法，作用是获取一对标签之间的字符串内容
str = soup.a.string print(str)
0x01 基于bs4库的遍历方法
遍历的方法可分为下行遍历、上行遍历、平行遍历
下行遍历包含三个属性
依然以上一个网页为例
head = soup.head.contents print(head)
返回了一个列表，当列表中有多个标签时，可以用head[0]的形式来选择
遍历子节点的代码框架：
for child in soup.body.children: print(child)
遍历子孙节点的代码框架：
for child in soup.body.descendants: print(child)
上行遍历有两个属性：
上行遍历代码框架：
soup = BeautifulSoup(demo, "html.parser") for parent in soup.a.parents: if parent is None: print(parent) else: print(parent.name)
平行遍历四个属性：
【注意】平行遍历得到的不一定是Tag，也可能是Navigablestring属性的值，例如：
soup = BeautifulSoup(demo, "html.parser") print(soup.a.next_sibling)
标签树的平行遍历代码：
for sibling in soup.a.next_siblings: #遍历后续节点 print(sibling)
for sibling in soup.a.previous_siblings: #遍历前续节点 print(sibling)
0x02 prettify()方法
prettify()方法为html文档中标签和内容添加换行符，使内容可读性更强。
soup = BeautifulSoup(demo, "html.parser") print(soup.prettify())
没有使用prettify()方法的结果：
0x03 bs4库的编码
强烈推荐使用python3以上版本，bs4库将所有内容都转换为utf-8编码，python3.x的默认编码也是utf-8，采用python2.x系列会导致无穷无尽的编码转换。
0x04 信息标记的三种形式
1.xml（扩展标记语言）
与html类似，以标签为主来表达信息
2.json
有类型的键值对来表达信息
3.YAML
用无类型键值对表示
0x05 信息提取的一般方法
1.完整解析，再提取关键字
2.无视标记形式，直接搜索信息
现实中好的方法是将两者相结合，实例：
提取HTML中所有url
思路：1）找到所有<a>标签
2）解析<a>标签，提取herf后的链接内容
soup = BeautifulSoup(demo, "html.parser") for link in soup.find_all('a'): print(link.get('href'))
bs方法：
扩展方法
