简单爬虫 -- 以爬取NASA AOD数据（TIFF文件）为例

 

目录：

• 网站分析
• 爬取下载链接
• 爬取TIFF图片

 

1、网站分析

主页面：https://neo.sci.gsfc.nasa.gov/view.php?datasetId=MYDAL2_M_AER_OD

需求：下载不同年份、不同月份、AAOT和TAOT数据；

点击AAOT和TAOT和年份可知，链接：

AAOT：https://neo.sci.gsfc.nasa.gov/view.php?datasetId=MYDAL2_M_AER_OD&year=2018

TAOT：https://neo.sci.gsfc.nasa.gov/view.php?datasetId=MODAL2_M_AER_OD&year=2018

AAOT和TAOT的区分：改变MYD和MOD；

年份区分：改变“year=”后面的数字；

月份如何区分？

点击下载处，链接为：

https://neo.sci.gsfc.nasa.gov/servlet/RenderData?si=1744422&cs=rgb&format=FLOAT.TIFF&width=360&height=180

https://neo.sci.gsfc.nasa.gov/servlet/RenderData?si=1618332&cs=rgb&format=FLOAT.TIFF&width=360&height=180

可知在下载链接里面“si=”后面的数字是不知道的，查看源代码，检查上图中月份处，发现这个数字就在这里：这个就是月份区分

 

分析完毕，爬取思路：

• 根据月份检查元素获取图片下载链接中的“si”，构建所有的下载链接；
• 下载已爬取的下载链接中的TIFF图片

 

2、爬取下载链接

由以上的分析，代码如下，这里爬取的是2008-2011的AAOT和TAOT数据链接：

import requests
from bs4 import BeautifulSoup as bsp

def url_collect():
    // 两个主链接
    taot_main_url = 'https://neo.sci.gsfc.nasa.gov/view.php?datasetId=MODAL2_M_AER_OD&year='
    aaot_main_url = 'https://neo.sci.gsfc.nasa.gov/view.php?datasetId=MYDAL2_M_AER_OD&year='

    // 需要下载的年份
    years = ['2011', '2010', '2009', '2008']

    // 构造确定AOT类别和年份页面链接 
    aot_url_list = []
    for year in years:
        aot_url_list.append(taot_main_url + year)
        aot_url_list.append(aaot_main_url + year)

    for aot_url in aot_url_list:
        // 请求获取网页
        try:
            response = requests.get(aot_url)
            response.raise_for_status()
            print('aot_url connect succeed !')
        except:
            print('aot_url connect failed !')
        
        // 分析网页，获取代表月份的“si=”后面的数字
        response_text = response.text
        soup = bsp(response_text, 'html.parser')
        divs = soup.find_all('div',{"class":"slider-elem month"})

        // 创建保存链接和命名形式的文件
        url_txt = open('D:/home/research/lung_cancer/code/aot_url_all.txt', 'a')
        url_name_txt = open('D:/home/research/lung_cancer/code/url_name.txt', 'a')

        // 构造下载链接和命名形式，并保存到文件中
        for div in divs:
            print(div)
            aot_url_txt = 'https://neo.sci.gsfc.nasa.gov/servlet/RenderData?si=' + div.a['onclick'][13:20] + '&cs=rgb&format=FLOAT.TIFF&width=360&height=180'
            name = aot_url.split('?')[1][10:] + div.a['onclick'][27:-3] + '.TIFF'
            url_txt.write(aot_url_txt + '\n')
            url_name_txt.write(name + '\n')

以下是爬取的结果：

 

Q：为什么要把命名形式也写入文件？

A：因为下载文件时，发现命名形式并不固定，有时候包含了年、月和AOT类别，有时候就是个简单的RenderData.TIFF，这样文件下载下来了也不知道是什么数据，所以命名很重要。

 

3、爬取TIFF图片

根据上一步爬取下来的链接，就可开始爬取图片了：

# code : utf-8

"""
下载指定链接（在文本文件中）下的tiff图像
"""

import requests

def download():
    local_path = 'D:/home/research/lung_cancer/code/'
    
    // 读取文本文件中已经下载好的链接
    url_list = []
    with open(local_path + 'aot_url_all.txt', 'r') as f:
        for url in f.readlines():
            url_list.append(url.strip())

    // 读取命名形式
    name_list = []
    with open(local_path + 'url_name.txt', 'r') as f:
        for name in f.readlines():
            name_list.append(name.strip())
    
    // 获取以上链接中的TIFF文件
    for i in range(len(url_list)):
        url = url_list[i]
        name = name_list[i]

        try:
            response = requests.get(url)
            response.raise_for_status()
            print('main_url connect succeed !')
        except:
            print('main_url connect failed !')

        // 将文件写入本地硬盘
        with open('D:/home/research/lung_cancer/data/AOD_process/' + name, 'wb') as f:
            f.write(response.content)
            print(name + "write succeed!")

爬取结果：