爬取中国大学排名

 

1.爬取目标

爬取http://www.zuihaodaxue.com/rankings.html中的如下链接中的具体数据：

具体页面中数据示例如下：

 

 

2.爬取步骤

(1)爬取http://www.zuihaodaxue.com/rankings.html页面中的10个链接地址及其文字描述

(2)根据链接地址爬取详细页面中的信息，每一个详细页面的信息存入列表中，列表中第一个数据存储的是排名名称，列表的第二个数据存储的是每一个详细页面中的表格中的表头。例如上面的拍， 、学校名称、省市等信息，后面的数据是表格下面每一行的数，最后将每一个详细页面的信息列表添加到结果列表中

(3)因时间关系未将数据存入数据库，直接输出显示数据

 

 

3.使用工具

requests请求库及BeautifulSoup解析库

 

 

4.代码

# __author__ = "wyb"
# date: 2018/5/22
import time
import requests
from bs4 import BeautifulSoup

headers = {
    "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Mobile Safari/537.36"
}


# 获取http://www.zuihaodaxue.com/rankings.html中的10个链接
def get_link():
    urls = []
    url = "http://www.zuihaodaxue.com/rankings.html"
    html = requests.get(url, headers=headers)
    html.encoding = html.apparent_encoding
    soup = BeautifulSoup(html.text, "lxml")
    # links为链接所在的a标签,names为链接对应的描述信息
    links = soup.select("div.row div.col-lg-12.col-md-12.col-sm-12.col-xs-12 div.smallpic a")
    for link in links:
        href = link["href"]
        href = "http://www.zuihaodaxue.com/" + href
        urls.append(href)
        # print(href)
    # print(len(links))

    return urls


# 获取网页中的信息
def get_info(links):
    info_s = []
    for link in links:
        info = []
        html = requests.get(link, headers=headers)
        html.encoding = html.apparent_encoding
        soup = BeautifulSoup(html.text, "lxml")
        # 获取排名名称
        ranking_name = soup.select("h3.post-title")[0].text.strip()
        info.append(ranking_name)
        # 获取表格头部信息
        items = soup.select("table.table-bordered thead th")
        head = []
        for item in items:
            head.append(item.text)
        info.append(head)
        # 获取表格主体信息
        items = soup.select("table.table-bordered tbody tr")
        for item in items:
            body = []
            tds = item.select("td")
            for td in tds:
                body.append(td.text)
                info.append(body)
        info_s.append(info)
    return info_s


# 展示获取的信息
def show_info(result):
    # 循环10个页面爬取的结果
    for r in result:
        print(r[0])
        print(r[1])
        for index in range(2, len(r)):
            items = r[index]
            for item in items:
                print(item, end=" ")
            print()


if __name__ == '__main__':
    start_time = time.time()
    urls = get_link()
    res = get_info(urls)
    show_info(res)
    end_time = time.time()
    print(end_time-start_time)