爬取中国大学排名

爬取最好大学网上最新2019年的中国大学排名情况

1.url：http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html。

2.使用requests库和bs4库实现对中国大学排名的定向爬取。

3.对包含输出的列表进行排版。

import requests
from bs4 import BeautifulSoup #对bs4库中的Beautiful类引用
import bs4#引入bs4库
#获取界面的信息
def getHTMLText(url) :
    try:
        r = requests.get(url,timeout = 30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        print("获取失败")
    return ''
#将获取的信息中有用的存入列表中
def fillUnivlist(ulist,html):
    soup = BeautifulSoup(html,"html.parser")#html的方式保存
    #查看源代码，大学排行信息包含在<tbody>,<tr>,<td>标签里面
    #先解析<tbody>的位置
    for tr in soup.find('tbody').children:
        #用isinstance方法检测tr标签，如果tr标签不是bs4库中的Tag类型，过滤
        if isinstance(tr,bs4.element.Tag):
            #查出所有的tr标签后，查出td标签,将所有的td标签存入列表当中
            tds = tr('td')
            #在列表中增加需要的对应字段，大学排名，大学名称，大学评分
            ulist.append([tds[0].string,tds[1].string,tds[2].string,tds[3].string])

    pass
#打印出获得的的信息
def printUnivlist(ulist,num):
    #num为自己想要获取大学的数量
    #打印表头
    print("{:^10}\t{:^6}\t{:^10}\t{:^10}".format("排名","学校名称","省市","总分"))
    for i in range(num):
        u = ulist[i]
        print("{:^10}\t{:^6}\t{:^10}\t{:^10}".format(u[0],u[1],u[2],u[3]))


    print('Suc'+str(num))


def main():
    uinfo=[]     #定义一个存放信息的列表
    url='http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html'
    html = getHTMLText(url)
    fillUnivlist(uinfo,html)
    printUnivlist(uinfo,20)#查看20个大学
main()

 

 

该程序主要包含四个函数：（1）def getHTMLText(url)，获取URL中的所有信息；

（2）def fillUnivlist(ulist,html)，j继续获取想得到的信息，并将这些信息存入列表当中；

（3）def printUnivlist(ulist,num)，打印出（2）中获取的信息；

（4）def main()，初始化一些参数。

优化

中文对齐问题的解决

采用中文字 符的空格填充chr(12288)

{1:{4}^15}，这个里面1和4对应format里面的顺序）（1为u[1]，在1号位填充。4是四个要填充

的字符串中文空格，10为宽度），而“:” 后面的内容表示填充内容，当长度不够时将自动填充。

 

 代码尚未优化完全，后期补全！