python 3.3.2 爬虫记录

　　网络上大部分关于python爬虫的介绍以及代码讲解，都用的是python2.7或以下版本，用python3.x版本的甚少。

　　在python3.3.2版本中，没有urllib2这个库，也没有cookiejar这个库。对应的库分别是http.cookiejar以及urllib这俩。

　　关于url以及python2.7爬虫写法的介绍，可以参考[Python]网络爬虫（一）：抓取网页的含义和URL基本构成这系列的文章。我这里主要介绍的是python3.3.2的urllib2的实现。

　　

　　首先，下面是一个简单的抓取网页信息程序，主要是介绍下urllib的使用。

 

# 简单的抓取HOJ主页的数据
import urllib.request

response = urllib.request.urlopen('http://acm.hit.edu.cn')
html = response.read()
print(html)

# 注意，由于网页抓取下来的是bytes格式的数据，所以写入文件时需要以二进制的方式写入
fout = open('txt.txt','wb')
fout.write(html)
fout.close()

fout = open('html.html','wb') # 写入到文件html.html
fout.write(html)
fout.close()

 

　　运行结果应该是txt.txt,html.html两个文件。我们可以打开看看txt.txt、html.html看看，发现txt.txt的数据跟浏览器查看的网页源代码一致。如果用浏览器打开html.html，会发现这个跟我们实际上考看到的网页基本一样。

　　

---

　　

模拟HOJ登陆并抓取已经AC的代码

　　

　　我们需要进行登陆，需要设置一个cookie处理器，它负责从服务器下载cookie到本地，并且在发送请求时带上本地的cookie。

    # 设置一个cookie处理器，它负责从服务器下载cookie到本地，并且在发送请求时带上本地的cookie
    cj = http.cookiejar.LWPCookieJar()  
    cookie_support = urllib.request.HTTPCookieProcessor(cj)  
    opener = urllib.request.build_opener(cookie_support, urllib.request.HTTPHandler)  
    urllib.request.install_opener(opener)  

　　

　　登陆时需要对HOJ服务器发送数据请求，对于发送data表单数据，我们怎么查看需要发送的数据？在HTTP中,这个经常使用熟知的POST请求发送。

　　我们可以先查看网页源代码，看到

　　

　　看到三个name，所以发送的求情数据中需要包含这三个，

    # 构造Post数据，从抓大的包里分析得出的或者通过查看网页源代码可以得到  
    data = {
            'user' : user, # 你的用户名
            'password' : password, # 你的密码，密码可能是明文传输也可能是密文，如果是密文需要调用相应的加密算法加密
            'submit' : 'Login'  # 特有数据，不同网站可能不同
    }

　　

　　另外，一般的HTML表单，data需要编码成标准形式。然后做为data参数传到Request对象。所以我们需要对data进行编码。

data = urllib.parse.urlencode(data).encode('utf-8')

　　

　　发送请求，得到服务器给我们的响应，完成登录功能。header最好加上，不然由于内部信息默认显示为机器代理，可能被服务器403 Forbidden拒绝访问。

 

    # 发送请求，得到服务器给我们的响应
    response = urllib.request.Request(url, data,header)
    # 通过urllib提供的request方法来向指定Url发送我们构造的数据，并完成登录过程
    urllib.request.urlopen(response)

　　

　　登录函数如下：

def login(): # 登陆函数
    print('请输入你的账号')
    user = input()
    print('请输入你的密码')
    password = input()
    
    # 设置一个cookie处理器，它负责从服务器下载cookie到本地，并且在发送请求时带上本地的cookie
    cj = http.cookiejar.LWPCookieJar()  
    cookie_support = urllib.request.HTTPCookieProcessor(cj)  
    opener = urllib.request.build_opener(cookie_support, urllib.request.HTTPHandler)  
    urllib.request.install_opener(opener)  
    
    url = 'http://acm.hit.edu.cn/hoj/system/login' # 登陆的界面
    
    # 这个最好加上，不然由于内部信息默认显示为机器代理，可能被服务器403 Forbidden拒绝访问
    header={'User-Agent':'Magic Browser'}
    
    # 构造Post数据，从抓大的包里分析得出的或者通过查看网页源代码可以得到  
    data = {
            'user' : user, # 你的用户名
            'password' : password, # 你的密码，密码可能是明文传输也可能是密文，如果是密文需要调用相应的加密算法加密
            'submit' : 'Login'  # 特有数据，不同网站可能不同
    }
    
    data = urllib.parse.urlencode(data).encode('utf-8')
    
    # 发送请求，得到服务器给我们的响应
    response = urllib.request.Request(url, data,header)
    # 通过urllib提供的request方法来向指定Url发送我们构造的数据，并完成登录过程
    urllib.request.urlopen(response)
    
    return

　　

 

　　登录进去后，我们需要对已经AC的代码进行抓取。抓取的链接为：

　　http://acm.hit.edu.cn/hoj/problem/solution/?problem=题目编号

    url = 'http://acm.hit.edu.cn/hoj/problem/solution/?problem='+str(i)
    response = urllib.request.urlopen(url)
    html = response.read()

　　我们可以把html输出看看具体内容是什么。　　

 

　　通过查看网页代码，发现提交的代码都是在<span></span>标签中。

　　

　　因此我们可以对这部分数据进行处理，处理过程中我们可以用到python的正则表达式进行搜索。并且对于特殊的编码如&lt;需要进行解码。

　　当然，我们需要注意保存的文件到底是java还是c++。

　

　　最后，详细的代码如下：

　　

import urllib
import http.cookiejar
#import time

hashTable = { # 网页特殊编码转化
        '<':'<',
        '>': '>',
        '{':'{',
        '}':'}',
        '(':'(',
        ')':')',
        ' ':' ',
        '&':'&',
        '[':'[',
        ']':']',
        '"':'"'
        }

def login(): # 登陆函数
    print('请输入你的账号')
    user = input()
    print('请输入你的密码')
    password = input()
    
    # 设置一个cookie处理器，它负责从服务器下载cookie到本地，并且在发送请求时带上本地的cookie
    cj = http.cookiejar.LWPCookieJar()  
    cookie_support = urllib.request.HTTPCookieProcessor(cj)  
    opener = urllib.request.build_opener(cookie_support, urllib.request.HTTPHandler)  
    urllib.request.install_opener(opener)  
    
    url = 'http://acm.hit.edu.cn/hoj/system/login' # 登陆的界面
    
    # 这个最好加上，不然由于内部信息默认显示为机器代理，可能被服务器403 Forbidden拒绝访问
    header={'User-Agent':'Magic Browser'}
    
    # 构造Post数据，从抓大的包里分析得出的或者通过查看网页源代码可以得到  
    data = {
            'user' : user, # 你的用户名
            'password' : password, # 你的密码，密码可能是明文传输也可能是密文，如果是密文需要调用相应的加密算法加密
            'submit' : 'Login'  # 特有数据，不同网站可能不同
    }
    
    data = urllib.parse.urlencode(data).encode('utf-8')
    
    # 发送请求，得到服务器给我们的响应
    response = urllib.request.Request(url, data,header)
    # 通过urllib提供的request方法来向指定Url发送我们构造的数据，并完成登录过程
    urllib.request.urlopen(response)
    
    return


def solve(html,i):
    txt = html.decode('gbk','ignore')
    
    start = txt.find('<span')
    if start==-1: # 没有span，表示此题没AC
        return
    p = '.java'
    if txt.find('import')==-1:
        p = '.cpp'
        
    fout = open('txt_'+str(i)+p,'w')
    while True:
        end = txt.find('<span',start+5)
        if end==-1:
            end = txt.find('</span>',start)
        
        x = txt.find('>',start)+1
        w = ''
        
        ok = True
        while x<end:
            if txt[x]=='<':
                ok = False
            elif txt[x]=='>':
                ok = True
            if not ok or txt[x]=='>':
                x += 1
                continue
            
            if txt[x]=='&': # 进行特殊的解码
                t4 = txt[x:x+4]
                t5 = txt[x:x+5]
                t6 = txt[x:x+6]
                if t4 in hashTable:
                    w += hashTable[t4]
                    x += 4
                elif t5 in hashTable:
                    w += hashTable[t5]
                    x += 5
                elif t6 in hashTable:
                    w += hashTable[t6]
                    x += 6
                else:
                    w += txt[x]
                    x += 1
            else:
                w += txt[x]
                x += 1
        fout.write(w)
        if end==start:
           break
        start = end
        
    fout.close()
    return


def run(): # 抓取所有AC代码
    for i in range(1001,3169):
        url = 'http://acm.hit.edu.cn/hoj/problem/solution/?problem='+str(i)
        response = urllib.request.urlopen(url)
        html = response.read()
        solve(html,i)
        #time.sleep(0.5) # 时间间隔为0.5s发送一次抓取请求，减轻hoj服务器压力
    return


login()
run()

　　

我所有的HOJ AC代码，在http://pan.baidu.com/s/1gdsX9DL

　　

 

---

 

 

提交AC代码：

　　这个其实跟登陆并抓取AC代码原理基本一样。

　　

    # 构造Post数据，从网页数据分析得出
    data = {
            'Proid' : num,
            'Language' : language,
            'Source' : txt # 可以通过查看网页源代码看出
    }

 

　　另外，我们需要用到listdir()函数，以此来获得当前目录下所有的文件。

　　这里我们需要设置time.sleep(3) ，间隔三秒递交一次代码，减轻服务器压力，以免使得HOJ服务器崩了。

 

　　总的代码如下：

import urllib
import http.cookiejar
import time
from os import listdir


def login():
    print('请输入你的账号')
    user = input()
    print('请输入你的密码')
    password = input()
    
    cj = http.cookiejar.LWPCookieJar()  
    cookie_support = urllib.request.HTTPCookieProcessor(cj)  
    opener = urllib.request.build_opener(cookie_support, urllib.request.HTTPHandler)  
    urllib.request.install_opener(opener)  
    
    url = 'http://acm.hit.edu.cn/hoj/system/login'
    
    header = {'User-Agent' : 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:14.0) Gecko/20100101 Firefox/14.0.1',  
           'Referer' : '******'}
    
    # 构造Post数据，他也是从抓大的包里分析得出的。  
    data = {'op' : 'dmlogin',  
            'f' : 'st', 
            'user' : user, # 用户名  
            'password' : password, # 密码，密码可能是明文传输也可能是密文，如果是密文需要调用相应的加密算法加密  
            'submit' : 'Login'  # 特有数据，不同网站可能不同  
    }
    
    data = urllib.parse.urlencode(data).encode('utf-8')
    request = urllib.request.Request(url, data,header)
    
    # 通过urllib2提供的request方法来向指定Url发送我们构造的数据，并完成登录过程
    urllib.request.urlopen(request)
    
    return


def solve(file): # file：为文件名，格式是 txt_problemNumber.cpp或者 txt_problemNumber.java
    ed = file.find('.')
    language = file[ed+1:len(file)]
    if language!='cpp' and language!='java':
        return
    if language=='cpp':
        language = 'C++'
    else:
        language = 'Java'
    st = file.find('_')
    num = file[st+1:ed]
    
    url = 'http://acm.hit.edu.cn/hoj/problem/submit/?id='+num
    
    header = {'User-Agent' : 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:14.0) Gecko/20100101 Firefox/14.0.1',  
           'Referer' : '******'}
    
    fin = open(file,'rb')
    txt = fin.read().decode('gbk','ignore')
    fin.close()
    
    # 构造Post数据，从网页数据分析得出
    data = {
            'Proid' : num,
            'Language' : language,
            'Source' : txt # 可以通过查看网页源代码看出
    }
    
    data = urllib.parse.urlencode(data).encode('utf-8') # 使用UTF-8编码方式进行编码
    request = urllib.request.Request(url, data,header) # 添加消息头
    
    
    # 通过urllib2提供的request方法来向指定Url发送我们构造的数据，并完成登录过程
    urllib.request.urlopen(request)
    
    time.sleep(3) # 间隔三秒递交一次代码，减轻服务器压力
    
    return


def run():
    allFile = listdir() # 获得当前目录下所有的文件
    for file in allFile:
        solve(file)
    
    return


login()
run()

　　

 

codeforces爬AC代码（有些网页格式不太一样，最后直接把那些题目忽略了，囧）（CF python代码尚未正确，有待改进。。。）

import urllib

user = 'yejinru' # 用户
page = 21        # 提交的页数


def solve(html,name):
    txt = html.decode('utf-8','ignore')
    
    cpp = '.cpp'
    start = txt.find('include')-1
    if start==-2:
        start = txt.find('public static void Main')
        if start==-1:
            cpp = '.py'
        else:
            cpp = '.java'
    
    end = txt.find('</pre>',start+100)
    
    fout = open('cf/'+name+cpp,'wb')
    pro = txt[start:end]
    
    pro = pro.replace(u'<',u'<')
    pro = pro.replace(u'>',u'>')
    pro = pro.replace(u'"',u'"')
    pro = pro.replace(u'&',u'&')
    
    fout.write(pro.encode('gbk','ignore'))
    fout.close()
    return


def fun(html):
    txt = html.decode('utf-8','ignore')
    pre = 0
    while True:
        cur = txt.find('<span class=\'verdict-accepted\'>',pre)
        if cur==-1:
            return
        pre = cur+100
        
        p = txt.find( '"',txt.find('submissionId="',cur-50) )+1
        pid = ''
        while txt[p]!='"':
            pid += txt[p]
            p += 1

        p = txt.find('data-problemId="',cur-300)
        if p==-1:
            return
        p = txt.find('>',txt.find('<a href="/',p))+19
        if p==18:
            return
        tid = ''
        
        while txt[p]>='0' and txt[p]<='9':
            tid += txt[p]
            p += 1
        if len(tid)>3:
            continue
        
        url = 'http://codeforces.com/contest/'+tid+'/submission/'+pid
        print(url)
        response = urllib.request.urlopen(url)
        html = response.read()
        
        solve(html,tid+txt[p])
        
        fout = open('cf/'+pid+'.html','wb')
        fout.write(html)
        fout.close()
        
    return

def run():
    add = '/page/'
    first = 'http://codeforces.com/submissions/'+user
    
    for i in range(1,page+1): # 这是因为http://codeforces.com/submissions/yejinru这里只有21页
        url = ''
        if i==1:
            url = first
        else:
            url = first+add+str(i)
        response = urllib.request.urlopen(url)
        html = response.read()
        fun(html)
        
    return


run()