使用Python中HTTPParser模块进行简单的html解析

       很早之前，在.net平台下写过一个分析html代码的程序，那时候的思想是将html代码解析成一棵类似树的结构，然后在分析其中的标签。Python中，HTTPParser模块，更像是在过程中进行解析，模拟遇到开始标签怎样开始，怎样处理属性和值，又当遇到结束标签该怎样结束等等过程。对于格式规范、代码简洁的html容易解析，如果复杂、不规范的html解析会很繁琐。

HTTPParser：

HTMLParser是python用来解析html的模块。它可以分析出html里面的标签、数据等等，是一种处理html的简便途径。
HTMLParser采用的是一种事件驱动的模式，当HTMLParser找到一个特定的标记时，它会去调用一个用户定义的函数，以此来通知程序处理。
它主要的用户回调函数的命名都是以handler_开头的，都是HTMLParser的成员函数。
当我们使用时，就从HTMLParser派生出新的类，然后重新定义这几个以handler_开头的函数即可。

例子：

写了小例子，用于分析获取到我们东南大学教务处网站的信息公告栏，内容比较简单。

打开jwc网站。

查看源代码，可以发现信息公告栏里有这样格式的html片段：

<td width="314" height="20"><a href="/admin/disp.asp?id=5323" target="newwin">关于申请2012年德国乌尔姆大学本科交流项目的报...</a><img src="imagess/new.gif" width="26" height="10"></td>
<td width="76" height="20">2012-1-9</td>

于是，可以简单的提取包含href="/admin/disp.asp?"属性的<a>标签获取文本和链接，以及紧接着的<td>标签获取日期值。

具体python实现代码如下：

?

#-*- encoding:gb2312 -*-

'''

Created on 2012-1-9

 

@author: xiaojay

'''

 

from HTMLParser import HTMLParser

from htmlentitydefs import entitydefs

 

import urllib2

 

url = "http://jwc.seu.edu.cn"

 

class NewsParser(HTMLParser):

    def __init__(self):

        HTMLParser.__init__(self)

        self.link = ""

        self.text = ""

        self.items = [] #保存提取结果

        self.flag = False

        self.parse_date = False

        self.date_start = False

    def handle_starttag(self,tag,attrs):

        #处理开始标签

        if tag=='a' and attrs:

            for key ,value in attrs:

                if key=='href':

                    index = value.find("?")

                    if index>0 and value[0:index]=="/admin/disp.asp":

                        self.flag = True

                        self.parse_date = True            

                        self.link = value

        if tag == "td" and self.parse_date == True :

            self.date_start = True

                         

    def handle_data(self,data):

        #处理数据

        if self.flag == True :

            self.text = data

        if self.date_start == True :

            self.items.append((self.text,self.link,data))

    def handle_entityref(self , name):

        #处理实体引用

        if entitydefs.has_key(name):

            self.handle_data(name)

        else :

            self.handle_data("&"+name )

    def handle_endtag(self,tag):

        #处理结束标签

        if tag == 'a' and self.flag== True :

            self.flag = False

        if tag == 'td' and self.parse_date and self.date_start :

            self.parse_date = False

            self.date_start = False

    def getItems(self):

        return self.items

     

 

req = urllib2.Request(url)

fd = urllib2.urlopen(req)

 

newsparser = NewsParser()

#调用feed方法，开始处理

newsparser.feed(fd.read())

items = newsparser.getItems()

for text , link , date in items :

    print text , link , date

                         

                            

运行结果：

关于申请2012年德国乌尔姆大学本科交流项目的报... /admin/disp.asp?id=5323 2012-1-9
关于公布“东南大学第五届PLD设计竞赛”结果的通知 /admin/disp.asp?id=5322 2012-1-6
关于公布“2011年国家大学生创新性实验计划项目... /admin/disp.asp?id=5321 2012-1-6
关于公布2011年“国家大学生创新性实验计划项目... /admin/disp.asp?id=5320 2012-1-6
关于申请暑假东南大学与台湾中原大学交换生的报名通知 /admin/disp.asp?id=5319 2012-1-5
本科生申报2012年SRTP项目的预通知 /admin/disp.asp?id=5318 2012-1-5
关于申请2012年法国巴黎电子信息学院本科交流项... /admin/disp.asp?id=5317 2012-1-5
关于申请2012年日本北海道大学本科交流项目的报... /admin/disp.asp?id=5316 2012-1-4