python爬取大学排名信息
python爬取大学排名信息
思路:
1.获取排名所在网页
2.寻找大学排名信息,并填充到相关列表中
3.将大学信息打印显示出来
import requests
from bs4 import BeautifulSoup
import bs4
import re
import time
def getHTMLText(url): //获取网页内容
try:
r = requests.get(url,timeout=30)
r.raise_for_status()
r.encoding=r.apparent_encoding
demo = r.text
return demo
except:
return ""
def fillUnivlist(ulist,html)://获取相关的大学排名信息填充到列表当中
soup=BeautifulSoup(html,'html.parser')
for tr in soup.find_all('tr'):
try:
if isinstance(tr, bs4.element.Tag):
tds = tr('td')
ulist.append([tds[0].string, tds[1].string, tds[2].string, tds[3].string])
except:
continue
def printUnivList(ulist,num)://将获取的信息打印出来
#print("{:^10}\t{:^20}\t{:^10}\t{:^10}".format("排名","学校名称","地区","总分"))
tplt="{0:^10}\t{1:{4}^10}\t{2:^10}\t{3:^10}"
print(tplt.format("排名","学校名称","地区","总分",chr(12288)))
for i in range(num):
u=ulist[i]
#print("{}\t{:^20}\t{}\t{}".format(u[0],u[1],u[2],u[3]))
# if(u[1]=='华东交通大学'):
print(tplt.format(u[0],u[1],u[2],u[3],chr(12288)))
time.sleep(1000)
print("Suc"+str(num))
def main(): //主函数调用
uinfo=[]
url='http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html'
html=getHTMLText(url)
fillUnivlist(uinfo,html)
printUnivList(uinfo,300) //获取前300名的大学信息 可以修改
main()