HTMLParser 简解
转 http://cc.ecjtu.net/posts/python-HTMLParser-A-href
发布于: August 20, 2011, 9:50 am 分类: python 作者: cyrec 阅读: [602]
HTMLParser类中有针对HTML标签的相应的函数，通过自定义，重载类中的函数来处理一些标签，函数如下：
HTMLParser.anchor_bgn(href, name, type):#a标签开始的时候被调用，参数是A标签的属性值
HTMLParser.anchor_end() #锚点标签结束的时候处理
HTMLParser.save_bgn():#开始在缓冲区中保存字符数据,通过save_end（）检索存储的数据。save_bgn（）/ save_end（）对可能不能嵌套使用。
HTMLParser.save_end():#结束缓冲字符数据，并返回自前调用save_bgn（）保存所有数据。一个没有前面的调用save_bgn（）调用此方法将引发TypeError异常。
HTMLParser.handle_image(source, alt[, ismap[, align[, width[, height]]]])：调用此方法来处理图像。默认实现只是简单地传递到handle_data（）方法的alt值。
HTMLParser.reset() #重置实例.所有未处理的数据都会丢失.在初始化时自动调用.
HTMLParser.feed(data) #给分析器喂食.在由完整元素构成的情况下工作；不完整数据情况下,会进行缓冲知道更多数据加进来或者 close() 被调用.
HTMLParser.close() #处理所有缓冲数据.这个方法可以被派生类重定义,以便在输入结束后处理额外的事情,重定义的版本也要调用 HTMLParser 基类的 close() 方法.
HTMLParser.getpos() #返回当前行数和列数
HTMLParser.get_starttag_text() #返回最近打开过得开始标记处的文本.通常不会用到
HTMLParser.handle_starttag(tag, attrs) #该方法用来处理一个标记的开始.tag参数是tag的名字的小写化.attrs参数是一个list,由(name,value)组成,反映了<>里面的属性. name会被翻译成小写字母,在value中的引号也被移除了,字符实体引用也会被替换.例如,有个 tag<A HREF=”http://www.cwi.nl/”> ,那么使用该方法就该这么做： handle_starttag('a', [('href','http://www.cwi.nl/')])
HTMLParser.handle_startendtag(tag, attrs) #和handle_starttag()类似,用来处理XHTML风格的空标签(<a .../>).可能被子类重载
HTMLParser.handle_endtag(tag) #该方法用来处理元素结束标记.可以被派生类重载；基类什么也不做. tag参数是tag的name转化来的小写字母.
HTMLParser.handle_data(data) #该方法用来处理随机的数据.
HTMLParser.handle_charref(name) #处理 &#ref 格式的字符引用.
HTMLParser.handle_entityref(name) #处理一般的 &name 格式的实体引用. name 是一个一般的实体引用.
HTMLParser.handle_comment(data) #处理遇到注释的情况.注释参数为在——和——之间的字符串文本,而不是分隔符自身.例如 <!--text--> ,该方法将调用'text'.
HTMLParser.handle_decl(decl) #当分析器遇到SGML声明时调用此方法. decl 参数是 <!...> 标记里的整个内容.
HTMLParser.handle_pi(data) #处理命令, data 参数包含整个的处理命令.例如 <?proc color=’red'> ,该方法应写成 handle_pi("proc color='red'")
下面是处理A标签的例子：
#encoding = 'utf-8'
import htmllib, urllib, formatter, string
class GetLinks(htmllib.HTMLParser):
def __init__(self):
self.links = {}
f = formatter.NullFormatter()
htmllib.HTMLParser.__init__(self, f)
def anchor_bgn(self, href, name, type):
self.save_bgn()
if href[:4] == 'http':
self.link = href
else:
self.link = None
def anchor_end(self):
text = string.strip(self.save_end())
if self.link and text:
self.links[text] = self.link
fp = urllib.urlopen("http://paoxue.com/")
data = fp.read()
fp.close()
linkdemo = GetLinks()
linkdemo.feed(data)
linkdemo.close()
for href, link in linkdemo.links.items():
print href, '-', link
输出：
hao123 => http://www.hao123.com
搜索设置 => /gaoji/preferences.html
使用百度前必读 => /duty/
加入百度推广 => http://e.baidu.com/?refer=888
还有个例子:
