爬虫实战 —— 天气网合肥地区天气数据

 

抓取天气网中合肥地区11年到18年所有天气数据，并对输出的数据进行可视化。

目标网址：http://lishi.tianqi.com/hefei/index.html

一 抓取网站数据代码如下：

 

import requests
import re
from bs4 import BeautifulSoup
import time


def get_response(url):
     try:
          r = requests.get(url)
          r.raise_for_status()
          r.encoding = r.apparent_encoding
          return r.text 
     except:
          print('')


#获取每年中每月的数据的链接，并将其保存在u_list里面        
def get_year_href(r):
     u_list = []
     soup = BeautifulSoup(r,'lxml')
     res = soup.find('div','tqtongji1').contents
     a_soup = BeautifulSoup(str(res),'lxml')
     a = a_soup.find_all('a')
     for each in a:
          u_list.append(each.get('href'))
     return u_list


#根据获得每一月的链接，分别抓取每个链接对应的数据    
def write_month_weather(url):
     r = requests.get(url).text
     soup = BeautifulSoup(r,'lxml')
     #保存每一天的数据的div，class = tqtongji2
     weather_res = soup.find('div',class_ = 'tqtongji2')
     #进一步解析weather_res
     ul_soup = BeautifulSoup(str(weather_res),'lxml')
     ul_list = ul_soup.find_all('ul')

     """
     2017年12月的url:http://lishi.tianqi.com/hefei/201712.html
     可以使用split()方法获得201712.html，
     再用正则表达式获取201712进行简单的文件命名：
     date = re.compile(r'[\d]*')
     mo = date.search(url.split('/')[-1])
     file_name = mo.group() + '.csv'
     
     """
     date = re.compile(r'[\d]*')
     mo = date.search(url.split('/')[-1])
     file_name = mo.group() + '.csv'

     #将每个月的数据保存到excel文件当中
     with open(file_name,'w+') as f:
          for ul in ul_list:
               li_soup = BeautifulSoup(str(ul),'lxml')
               li_list = li_soup.find_all('li')
               try:
                    for each in li_list:
"""
运行代码后在抓取到2016年08月的数据之后报错：
TypeError: unsupported operand type(s) for +: 'NoneType' and 'str'
这是因为从2016年08月开始，后面的部分数据可能出现为None类型的情况。
我的处理如下：
（1）将None改为'空'
     if each.string == None:
          each.string = '空'
     else:
          pass

（2）直接使用Python的异常处理忽略掉。
     
"""
                         #用逗号分隔
                         str_w = each.string + ','
                         f.write(str_w)
               except:
                    f.write('\n')
                    #continue要在for循环里面使用
                    continue
               f.write('\n')
          
def main():
     url = "http://lishi.tianqi.com/hefei/index.html"
     r = get_response(url)
     u_list = get_year_href(r)
     for i in range(len(u_list)):
          write_month_weather(u_list[i])
          print(u_list[i])
          time.sleep(1)
main()

 

二 对生成的数据进行可视化

使用柱状图和折线图分别表示（以201607的数据为例）

# -*- coding: GBK-*- #
#编码问题
import pandas as pd
import matplotlib.pyplot as plt
import numpy as np


"""
使用中文做label的时候，会出无法显示的问题，中文标签全部变成了小方格。
产生中文乱码的原因就是字体的默认设置中并没有中文字体，
所以我们只要手动添加中文字体的名称就可以了。

"""
from pylab import * 
mpl.rcParams['font.sans-serif'] = ['SimHei']  

##a = np.loadtxt(open("201607.csv","rb"),delimiter=",") 
file = pd.read_csv('201607.csv',encoding="gbk")
#分别获取最高气温和最低气温
df1 = file.iloc[:,1:2]
df2 = file.iloc[:,2:3]

#获取折线图的横纵坐标
x = df1.index
y1 = df1[u"最高气温"]
y2 = df2[u"最低气温"]


"""
也可以使用柱状图表示温差，代码如下：
plt.bar(x,y1,width=0.8,facecolor="blue",edgecolor="white")
plt.bar(x,y2,width=0.8,facecolor="#9999ff",edgecolor="white")
plt.show()

"""
plt.title('昼夜温差')  
plt.xlabel('data size')  
plt.ylabel('time(s)')

plt.plot(x, y1,'r', label='最高气温')  
plt.plot(x, y2,'b',label='最低气温')

plt.legend(bbox_to_anchor=[0.3, 1])  
plt.grid()  
plt.show() 

运行结果如下图：

（1）柱状图

 （2）折线图