中国部分大学排名爬虫

目标网站：http://www.zuihaodaxue.com/zuihaodaxuepaiming2016.html

目的：爬取目标网站上中国大学的排名

代码如下：

import requests#引入requests库
from bs4 import BeautifulSoup
import bs4#引入bs4库
def getHTMLText(url):#获得网页内容的函数
    try:
        r=requests.get(url,timeout=30)#得到网页内容
        r.raise_for_status()#来产生异常信息,在方法内部判断r.status_code是否等于200，不需要增加额外的if语句，该语句便于利用try-except进行异常处理
        r.encoding=r.apparent_encoding#修改编码
        return r.text#返回文本类
    except:
        return ""
    
def fillUnivList(ulist,html):#将页面放到一个列表中的函数
    soup = BeautifulSoup(html,"html.parser")#煲汤....
    for tr in soup.find('tbody').children:#遍历查找tbody标签
        if isinstance(tr,bs4.element.Tag):#类型判断，如果不是tag类型，将被过滤
            tds = tr('td')#将td标签存为一个列表类型tds
            ulist.append([tds[0].string,tds[1].string,tds[2].string])#增加对应字段
            

def printUnivList(ulist,num):#输出打印函数，格式化输出
    print("{:^10}\t{:^6}\t{:^10}".format("排名","学校名称","总分"))#打印表头
    for i in range(num):#采用循环实现
        u= ulist[i]
        print("{:^10}\t{:^6}\t{:^10}".format(u[0],u[1],u[2]))

def writetxt(ulist,num):#储存到txt文件，E盘下自动生成中国大学排名的txt文件
    with open('E:中国大学排名.txt','a',encoding='utf-8') as f:
        for i in range(num):
            u= ulist[i]
            f.write("{:^10}\t{:^6}\t{:^10}".format(u[0],u[1],u[2]))
            f.write('\n')
    f.close()

       
def main():#主函数
   uinfo = []#列表
   url = 'http://www.zuihaodaxue.com/zuihaodaxuepaiming2016.html'#给定链接
   html=getHTMLText(url)
   fillUnivList(uinfo,html)
   printUnivList(uinfo,310)
   writetxt(uinfo,310)
main()

结果如下：

第一次写的爬虫，留作纪念