Python爬虫实战（二）

本来晚上是准备写贴吧爬虫的，但是在分析页面时就遇到了大麻烦！选取了某个帖子，在爬取的时候，发现正则匹配不全..很尴尬！！先来看看吧，

#!/usr/bin/env python
# -*- coding:utf-8 -*-
__author__ = 'ziv·chan'


import requests
import re

url = 'http://tieba.baidu.com/p/3138733512?see_lz=1&pn=3'
html = requests.get(url)
html.encoding = 'utf-8'
pageCode = html.text

pattern = re.compile('d_post_content j_d_post_content ">(.*?)</div><br>',re.S)
items = re.findall(pattern,pageCode)
i = 1
for item in items:
    hasImg = re.search('<img',item)
    hasHref = re.search('href',item)
    # 过滤img
    if hasImg:
        pattern_1 = re.compile('<img class="BDE_Image".*?<br><br>')
        item = re.sub(pattern_1,'',item)
    # 过滤href
    if hasHref:
        pattern_2 = re.compile('onclick="Stats.sendRequest.*?class="at">(.*?)</a>',re.S)
        item = re.findall(pattern_2,item)

    print str(i) + ':'
    # 提取href标签下的用户
    if type(item) is list:
        for each in item:
            print each
    else:
        # 过滤多余标签 ' <br> '
        pattern_Br = re.compile('<br>')
        item = re.sub(pattern_Br, '\n', item)
        # 默认删除空白符
        print item.strip()
    print '\n'
    i += 1
    # if not hasImg and not hasHref:
    #     print i
    #     print item.strip()
    #     i += 1

本来都以为大功告成了，结果..结果在提取含有@的content的时候，不是少这个就是缺那个...心塞，正则的功夫还是没下够，但是今天白天学得那些方法还是现学现用了，Get！

明天看看静觅怎么做的，又是一顿大餐，好好消化，加油！！