python 之网页解析器
一、什么是网页解析器
1、网页解析器名词解释
首先让我们来了解下，什么是网页解析器，简单的说就是用来解析html网页的工具，准确的说：它是一个HTML网页信息提取工具，就是从html网页中解析提取出“我们需要的有价值的数据”或者“新的URL链接”的工具。
2、网页解析图解
二、python 网页解析器
1、常见的python网页
常见的python网页解析工具有：re正则匹配、python自带的html.parser模块、第三方库BeautifulSoup(重点学习)以及lxm库。
2、常见网页解析器分类
以上四种网页解析器，是两种不同类型的解析器：
（1）模糊匹配
re正则表达式即为字符串式的模糊匹配模式；
（2）结构化解析
BeatufiulSoup、html.parser与lxml为“结构化解析”模式，他们都以DOM树结构为标准，进行标签结构信息的提取。（）
（3）结构化解析
我们在了解什么是结构化解析之前，需要先了解下什么是DOM树这个概念。
DOM树解释：即文档对象模型（Document Object Model），其树形标签结构，请见下图。
而所谓结构化解析，就是网页解析器它会将下载的整个HTML文档当成一个Doucment对象，然后在利用其上下结构的标签形式，对这个对象进行上下级的标签进行遍历和信息提取操作。
三、BeautifulSoup第三方库
1、beautifulsoup4 简介
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python第三方库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.
2、beautifulsoup4 安装
（1）安装方法
我直接启动cmd命令行运行环境，使用pip管理工具进行安装，安装命令如下。
$ pip install beautifulsoup4
（2）安装测试
安装完成后，我直接启动IDLE环境，引入bs4测试其是否安装成功。
>>>> from bs4 import BeautifulSoup
>>>> import bs4
>>>> print bs4
3、BeautifulSoup 语法
BeautifulSoup使用的一般流程就三步走：
（1） 创建BeautifulSoup对象
（2） 使用BeautifulSoup对象的操作方法find_all 与 find进行解读搜索。
如：
>>>> soup.find_all('a')
>>>> soup.find(‘a’)
（3） 利用DOM结构标签特性，进行更为详细的节点信息提取。
4、使用方法（学习重点）
（1）第一步：创建BeautifulSoup对象（即DOM对象）
# 引入BeautifulSoup库
>>>> from bs4 import BeatifulSoup # 根据HTML网页字符串结构创建BeatifulSoup对象。 >>>> soup = BeautifulSoup(html_doc, #HTML文档字符串 'html.parser', #HTML解析器 from_encoding = 'utf-8' #HTML文档编码 )
（2）第二步：搜索节点（find_all,find）
搜索节点方法：
soup.find_all() --- 查找所有符合查询条件的标签节点，并返回一个列表。 soup.find() --- 查找符合符合查询条件的第一个标签节点。
实例1：搜索所有<a>标签
>>>> soup.find_all('a')
实例2：查找所有标签符合标签名为a，链接符合 /view/123.html的节点
1)实现方法1：
>>>> soup.find_all('a', href = '/view/123.html')
2)实现方法2：
>>>> soup.find_all('a', href = re.compile(r'/view/\d+\.html'))
实例3：查找所有标签为名为a，class属性为abc，文字为python的节点
>>>> soup.findall('a', class_= 'abc', string = 'python')
(3)第三步：访问节点信息
比如我们得到节点：<a href = '/view/123.html' class = 'doc_link'> I love Python <a>
1) 获取节点名称
>>>> node.name
2)获取查找到的a节点的href属性
>>>> node['href'] 或者 >>>> node.get('href')
3）获取查找到的a节点的字符串内容
>>>> node.get_text()
5、BeautifulSoup 信息提取实例
html_doc = """ <html><head><title>The Dormouse's story</title></head> <body> <p class="title"><b>The Dormouse's story</b></p> <p class="story">Once upon a time there were three little sisters; and their names were <a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>, <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>; and they lived at the bottom of a well.</p> <p class="story">...</p> """ # 获取所有a标签节点内容 links = BeautifulSoup('a') #查找已经获取a标签节点中所有连接 for link in links: pirnt(link.name,link['href'],link.get_text())
