2.4 使用Beautiful Soup解析网页

　　通过requests库已经可以抓到网页源码，接下来要从源码中找到并提取数据。Beautiful Soup是python的一个库，其最主要的功能是从网页中抓取数据。Beautiful Soup目前已经被一直到bs4库中，也就是说在导入Beautiful Soup时需要先安装bs4库。安装bs4库的方式如图所示。

安装好bs4库以后，还需安装lxml库。如果我们不安装lxml库，就会使用Python默认的解析器。尽管Beautiful Soup既支持Python标准库中的HTML解析器又支持一些第三方解析器，但是lxml库具有功能更加强

大、速度更快的特点，因此笔者推荐安装lxml库。安装Python第三方库后，输入下面的代码，即可开始Beautiful Soup之旅。

import requests # 导入requests包

......

soup = BeautifulSoup(strhtml.text,'lxml')   # lxml解析网页文档
data = soup.select('#hotpoint > li:nth-child(1)') #获取数据
print(data)

代码运行结果如图所示。

Beautiful Soup库能够轻松解析网页信息，它被集成在bs4库中，需要时可以从bs4库中调用。其表达语句如下。

from bs4 import BeautifulSoup

首先，HTML文档将被转换成Unicode编码格式，然后Beautiful Soup选择最合适的解析器来解析这段文档，此处指定lxml解析器进行解析。解析后便将复杂的HTML文档转换成树形结构，并且每个节点都是Python对象。这里将解析后的文档存储到新建的变量soup中，代码如下。

soup = BeautifulSoup(strhtml.text,'lxml')

接下来用select（选择器）定位数据，定位数据时需要使用浏览器的开发者模式，将鼠标光标停留在对应的数据位置并右击，然后在快捷菜单中选择“检查”命令，如图所示。

随后在浏览器右侧会弹出开发者界面，右侧高亮的代码（参见图b对应着左侧高亮的数据文本a）。右击右侧高亮数据，在弹出的快捷菜单中选择“copy”->"copy selector"命令，便可以自动复制路径。

                       

                                    图a                                                                                                                                                                                           图b

将路径粘贴在文档中，代码如下。

#main > div > div.mtop.firstMod.clearfix > div.centerBox > ul.newsList > li:nth-child(1) > a

由于这条路径是选中的第一条的路径，而我们需要获取所有的头条新闻，因此将li:nth-child(1)中冒号（包含冒号）后面的部分删掉，代码如下。

#main > div > div.mtop.firstMod.clearfix > div.centerBox > ul.newsList > li > a

使用soup.select引用这个路径，代码如下。

data = soup.select('#main > div > div.mtop.firstMod.clearfix > div.centerBox > ul.newsList > li > a')