Python小应用1 - 抓取网页中的链接地址

看到一篇博文上讲到用Python写自动访问博客的功能，里面的核心功能就是抓取网页中的链接，类似一个网页爬虫工具。正好我刚学习Python，就决定自己练习一下。写了一下，原本觉得很简单的东西，搞了半天才终于搞定，看来纸上得来终是浅，勤加实践才是王道。虽然花了不少时间，但是感觉自己收获还是蛮大的。

这段代码的知识点包括以下几个：

1. 列表的使用；
2. 自定义全局函数的写法；
3. 自定义类及继承类的写法；
4. 标准模块的使用
5. 异常处理

下面看代码。

先是导入用到的标准模块：

import html.parser as parser
import urllib.request

然后是分析网页中网址的类定义：

class MyHtmlParser(parser.HTMLParser):
    def __init__(self, lst = None):
        super().__init__()   #这里容易漏掉导致出错
        if not lst:
            self.urls = []
        else:
            self.urls = lst
        
    def handle_starttag(self, tag, attrs):
        for attr, value in attrs:
            if "http" in value and ".js" not in value \
            and value not in self.urls:
                self.urls.append(value)
                
    def handle_startendtag(self, tag, attrs):
        for attr, value in attrs:
            if "http" in value and ".js" not in value \
            and value not in self.urls:
                self.urls.append(value)

解析网址函数：

def ParseUrlsInText(text, lst):
    pars = MyHtmlParser(lst)
    try:
        pars.feed(text)
    #添加异常处理，可能会遇到各种异常
    except parser.HTMLParseError as ex:
        print("parse failed.",ex)  

 最后是实现整个功能的函数：

def VisitUrlsInPage(pageUrl):
    url_list = [pageUrl]
    for url in url_list:
        try:
            fh = urllib.request.urlopen(url)
            data = fh.read()
            ParseUrlsInText(str(data), url_list)
            #这里是为了快速结束，去掉就变成小爬虫了
            if len(url_list) >= 200: 
                break
        except urllib.request.URLError:
            print("Failed.")
            continue
    print("length: ", len(url_list))
    for url in url_list:
        print(url)


if __name__ == '__main__':
    VisitUrlsInPage("http://www.cnblogs.com/jason-yang/")

里面的异常处理和对地址的剔除还不完善，对不同的网站运行过程中可能还会有些小问题。