#小练习 使用正则抓取oschina博客专区首页数据 分类： python 小练习 正则表达式 2013-11-11 17:22 604人阅读 评论(0) 收藏

使用正则抓取oschina博客专区首页数据，包括：博客链接地址、标题、摘要、发布人、发布时间

#coding:utf-8

import urllib2,re

def getpage(url):

    f=urllib2.Request(url)
    #此时添加header，模拟浏览器访问，否则会报错：HTTPError: HTTP Error 403: Forbidden
    f.add_header("User-Agent","Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1) Gecko/20090624 Firefox/3.5")
    #访问请求地址
    page = urllib2.urlopen(f)
    #读取页面内容
    content = page.read()
    page.close()

    return content


def getInfo(f):
    #使用正则匹配数据
    p=re.compile(r'<h3><a href="(.*?)".*?>(.*?)</a>.*?\s*?<p>(.*?)</p>\s*?<div class=\'date\'>(.*?)<')
    result=p.findall(f)


    #result是一个由4个元素组成的元组组成的列表 [(t1,t2,t3,t4),(t5,t6,67,t8),.......]
    '''
    如果直接使用以下输出，则无法正常显示中文

    for item in result:
        for link,title,abstract,publisher in item: #由于含有中文提示ValueError: too many values to unpack
            print link
            print title
            print abstract
            print publiser
    '''
    for item in result:
        for i in range(4):
            if i==0:
                print u"链接地址:",
            elif i==1:
                print u"标题:",
            elif i==2:
                print u"摘要:",
            else:
                print u"发布人、发布时间:",

            print item[i].decode("utf-8")
##        for link,title,abstract,date in item:
##            print link,title.decode("utf-8"),abstract.decode("utf-8"),date
        print

if __name__ == '__main__':
    url="http://www.oschina.net/blog/more?p=1"
    content = getpage(url)
    getInfo(content)

版权声明：本文为博主原创文章，未经博主允许不得转载。