空气质量分析
由于雾霾问题,全社会都很关注空气质量,政府也花了很多钱力图改善空气质量。我们作为城市市民经常要问:我们城市的空气质量到底怎样?这几年我们城市的空气质量是在改善还是恶化?我们城市的空气质量与其他城市相比,是更好还是更差?
官方媒体一般都是说:我们的空气质量在改善,但有数据证明吗?官方数据可信吗?我们心存疑虑。所以,作为数据狗,还是自己动手吧。
PM2.5是最近几年特别热议的空气质量指标,这要归功于美帝大使馆哦。美国驻华使馆和领馆自己检测PM2.5数据并且在官网发布,这才让国人知道了这个指标,后来国内官方也开始公布这个指标了。
言归正传,差点忘了,这是一篇Python技术贴。回到这篇文章的主题:用Python做数据分析。我生活在广州,当然以我大广州为分析目标了。
数据源:美国驻华使馆的空气质量检测数据, [ http://www.stateair.net/web/historical/1/1.html
](http://www.stateair.net/web/historical/1/1.html) 包含以下字段:
其中,PM2.5数值所代表的空气质量评价如下表1-1所示:
在此基础上,如果指数大于500,就是大家戏称为“爆表”
问题:
一.广州的空气质量总体如何?
二.广州最近两年的空气质量是否有改善?
三.广州北京两地的空气质量对比
这几个问题其实比较大而空,要落实到具体的指标和维度。从我们掌握的以上数据出发,可以从以下几个指标和维度分析:
1.2016年全年来看,空气质量较好(PM2.5<=100)的天数占比是多少?2015年相比2016年的对比?北京与各自的对比如何?
2.2016年全年来看,空气质量最严重(PM2.5>300)的天数占比是多少?2015年相比2016年的对比?北京与各自的对比如何?
3.2016年全年来看,空气质量与季节(月份)的变化关系是什么?
4.2016年与2015年同时间点对比,空气质量较好和较差的次数分别是多少?
5.2016年广州与北京同时间点对比,空气质量较好和较差的次数分别是多少?
通过以上维度分析,可以基本对前面的三大问题得出大致的判断。当然,有兴趣的童鞋可以根据原始数据出发,从更多的维度进行分析哦。
下面就开始进入数据集吧。
1. 数据集下载、读取和清洗
从美驻华使馆官网下载了广州、北京两个城市,2015年和2016年的PM2.5数据。分别是这四个文件:
Beijing_2015_HourlyPM25_created20160201.csv
Beijing_2016_HourlyPM25_created20170201.csv
Guangzhou_2015_HourlyPM25_created20170201.csv
Guangzhou_2016_HourlyPM25_created20170201.csv
为了简化工作,每个文件只保留这几个字段:Year、Month、Day、Hour、Value和QC
name,用Excel删掉其他的字段和文字,千万注意要保留表头哦。
经过大致观察,可以发现以下几点:
- 数据以csv格式保存,每年1个文件
- 每个小时一条检测数据
首先引入必要的Python包
In [1]:
import unicodecsv
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sb
%matplotlib inline
从csv文件中读入数据
pandas是Python中常用的数据分析工具,包含了大量简便的数据分析处理方法。本文通过这个例子,展现了几个常用的pandas使用方法。
其中,使用pandas可以很方便地从csc文件中读取数据,保存在DataFrame对象中,方法如下:
In [2]:
# 从csv中读取北京2015年pm2.5数据,保存在DataFrame中
df_bj2015 = pd.read_csv('data/Beijing_2015_HourlyPM25_created20160201.csv')
# 重新设定各个字段的名称
df_bj2015.columns=['Year','Month','Day','Hour','Value','QC']
数据探索和清洗
拿到数据集,并且导入了DataFrame对象后,我们需要对数据进行观察,看看是否有缺失和错误的情况,并且对数据集进行必要的清洗处理,以便后续得到更准确的分析结果。
In [3]:
# 查看DataFrame中的前几条数据
df_bj2015.head()
Out[3]:
| Year | Month | Day | Hour | Value | QC
---|---|---|---|---|---|---
0 | 2015 | 1 | 1 | 0 | 22 | Valid
1 | 2015 | 1 | 1 | 1 | 9 | Valid
2 | 2015 | 1 | 1 | 2 | 9 | Valid
3 | 2015 | 1 | 1 | 3 | 13 | Valid
4 | 2015 | 1 | 1 | 4 | 10 | Valid
In [4]:
# DataFrame的简要描述
df_bj2015.describe()
Out[4]:
| Year | Month | Day | Hour | Value
---|---|---|---|---|---
count | 8760.0 | 8760.000000 | 8760.000000 | 8760.000000 |
8760.000000
mean | 2015.0 | 6.526027 | 15.720548 | 11.500114 | 71.658904
std | 0.0 | 3.448048 | 8.796749 | 6.922433 | 139.751292
min | 2015.0 | 1.000000 | 1.000000 | 0.000000 | -999.000000
25% | 2015.0 | 4.000000 | 8.000000 | 5.750000 | 21.000000
50% | 2015.0 | 7.000000 | 16.000000 | 11.500000 | 53.000000
75% | 2015.0 | 10.000000 | 23.000000 | 17.250000 | 108.000000
max | 2015.0 | 12.000000 | 31.000000 | 23.000000 | 722.000000
从简要描述中,可以看出Value字段(pm2.5的值)最小值是-999,正常来说,PM2.5的值不会小于零的,这说明有些观测值是缺失或者记录错误。我们可以计算一下其中有多少Value<0的记录:
In [5]:
len(df_bj2015.ix[df_bj2015.Value<0, :])
Out[5]:
97
[/code]
全年8000多条数据中,只有97条记录缺失或错误,所以把这97条记录删除,对整个分析影响不大。以下把缺失或错误的记录删除:
In [6]:
```code
# 把错误值置为空值
df_bj2015.loc[df_bj2015.Value<0,'Value']=np.nan
# 删除空值记录
df_bj2015.dropna(inplace=True)
再用describe方法看看数据集的概况:
In [7]:
df_bj2015.describe()
Out[7]:
| Year | Month | Day | Hour | Value
---|---|---|---|---|---
count | 8663.0 | 8663.000000 | 8663.000000 | 8663.000000 |
8663.000000
mean | 2015.0 | 6.538728 | 15.674939 | 11.494055 | 82.733810
std | 0.0 | 3.448080 | 8.787195 | 6.938605 | 88.556186
min | 2015.0 | 1.000000 | 1.000000 | 0.000000 | 0.000000
25% | 2015.0 | 4.000000 | 8.000000 | 5.000000 | 21.000000
50% | 2015.0 | 7.000000 | 16.000000 | 11.000000 | 54.000000
75% | 2015.0 | 10.000000 | 23.000000 | 18.000000 | 109.000000
max | 2015.0 | 12.000000 | 31.000000 | 23.000000 | 722.000000
可以看出,Value字段最小值不再为负数,这样的数据基本可信。
另外,我们还要为数据集增加一个字段,根据前面表1-1的划分方法,把pm2.5的测量值Value,转换为空气质量等级。
首先,我们先写一个函数,通过pm2.5测量值对应的空气质量等级。
In [8]:
df_bj2015.describe()
Out[8]:
| Year | Month | Day | Hour | Value
---|---|---|---|---|---
count | 8663.0 | 8663.000000 | 8663.000000 | 8663.000000 |
8663.000000
mean | 2015.0 | 6.538728 | 15.674939 | 11.494055 | 82.733810
std | 0.0 | 3.448080 | 8.787195 | 6.938605 | 88.556186
min | 2015.0 | 1.000000 | 1.000000 | 0.000000 | 0.000000
25% | 2015.0 | 4.000000 | 8.000000 | 5.000000 | 21.000000
50% | 2015.0 | 7.000000 | 16.000000 | 11.000000 | 54.000000
75% | 2015.0 | 10.000000 | 23.000000 | 18.000000 | 109.000000
max | 2015.0 | 12.000000 | 31.000000 | 23.000000 | 722.000000
In [9]:
def get_grade(value):
if value <= 50 and value>=0:
return 'Good'
elif value <= 100:
return 'Moderate'
elif value <= 150:
return 'Unhealthy for Sensi'
elif value <= 200:
return 'Unhealthy'
elif value <= 300:
return 'Very Unhealthy'
elif value <= 500:
return 'Hazardous'
elif value > 500:
return 'Beyond Index' # 爆表了
else:
return None # 输入值无效
以下使用DataFrame的apply函数,增加一个字段‘Grade’,并且根据‘Value’字段的值,调用前面的转换函数,为‘Grade’字段赋值。
In [10]:
df_bj2015.loc[:, 'Grade'] = df_bj2015['Value'].apply(get_grade)
再来看看增加字段后的数据集
In [11]:
df_bj2015.head()
Out[11]:
| Year | Month | Day | Hour | Value | QC | Grade
---|---|---|---|---|---|---|---
0 | 2015 | 1 | 1 | 0 | 22.0 | Valid | Good
1 | 2015 | 1 | 1 | 1 | 9.0 | Valid | Good
2 | 2015 | 1 | 1 | 2 | 9.0 | Valid | Good
3 | 2015 | 1 | 1 | 3 | 13.0 | Valid | Good
4 | 2015 | 1 | 1 | 4 | 10.0 | Valid | Good
经过以上的处理,我们就把北京2015年的PM2.5数据集处理完成了。对于其他三个表格,我们都采取类似的处理。
In [12]:
# 从csv中读取北京2016年pm2.5数据,保存在DataFrame中
df_bj2016 = pd.read_csv('data/Beijing_2016_HourlyPM25_created20170201.csv')
# 重新设定各个字段的名称
df_bj2016.columns=['Year','Month','Day','Hour','Value','QC']
# 对错误和缺失值赋为空值
df_bj2016.loc[df_bj2016.Value<0,'Value']=np.nan
# 删除空值记录
df_bj2016.dropna(inplace=True)
#增加空气质量等级字段‘Grade’
df_bj2016.loc[:, 'Grade'] = df_bj2016['Value'].apply(get_grade)
In [13]:
df_bj2016.head()
Out[13]:
| Year | Month | Day | Hour | Value | QC | Grade
---|---|---|---|---|---|---|---
0 | 2016 | 1 | 1 | 0 | 231.0 | Valid | Very Unhealthy
1 | 2016 | 1 | 1 | 1 | 239.0 | Valid | Very Unhealthy
2 | 2016 | 1 | 1 | 2 | 205.0 | Valid | Very Unhealthy
3 | 2016 | 1 | 1 | 3 | 167.0 | Valid | Unhealthy
4 | 2016 | 1 | 1 | 4 | 132.0 | Valid | Unhealthy for Sensi
In [14]:
# 从csv中读取广州2016年pm2.5数据,保存在DataFrame中
df_gz2016 = pd.read_csv('data/Guangzhou_2016_HourlyPM25_created20170201.csv')
# 重新设定各个字段的名称
df_gz2016.columns=['Year','Month','Day','Hour','Value','QC']
# 对错误和缺失值赋为空值
df_gz2016.loc[df_gz2016.Value<0,'Value']=np.nan
# 删除空值记录
df_gz2016.dropna(inplace=True)
#增加空气质量等级字段‘Grade’
df_gz2016.loc[:, 'Grade'] = df_gz2016['Value'].apply(get_grade)
In [15]:
df_gz2016.head()
Out[15]:
| Year | Month | Day | Hour | Value | QC | Grade
---|---|---|---|---|---|---|---
0 | 2016 | 1 | 1 | 0 | 55.0 | Valid | Moderate
1 | 2016 | 1 | 1 | 1 | 58.0 | Valid | Moderate
2 | 2016 | 1 | 1 | 2 | 59.0 | Valid | Moderate
3 | 2016 | 1 | 1 | 3 | 58.0 | Valid | Moderate
4 | 2016 | 1 | 1 | 4 | 51.0 | Valid | Moderate
In [16]:
# 从csv中读取广州2015年pm2.5数据,保存在DataFrame中
df_gz2015 = pd.read_csv('data/Guangzhou_2015_HourlyPM25_created20160201.csv')
# 重新设定各个字段的名称
df_gz2015.columns=['Year','Month','Day','Hour','Value','QC']
# 对错误和缺失值赋为空值
df_gz2015.loc[df_gz2015.Value<0,'Value']=np.nan
# 删除空值记录
df_gz2015.dropna(inplace=True)
#增加空气质量等级字段‘Grade’
df_gz2015.loc[:, 'Grade'] = df_gz2015['Value'].apply(get_grade)
In [17]:
df_gz2015.head()
Out[17]:
| Year | Month | Day | Hour | Value | QC | Grade
---|---|---|---|---|---|---|---
0 | 2015 | 1 | 1 | 0 | 38.0 | Valid | Good
1 | 2015 | 1 | 1 | 1 | 40.0 | Valid | Good
2 | 2015 | 1 | 1 | 2 | 40.0 | Valid | Good
3 | 2015 | 1 | 1 | 3 | 34.0 | Valid | Good
4 | 2015 | 1 | 1 | 4 | 42.0 | Valid | Good
好了,我们已经把本次分析所需的数据集全部准备完毕,接下来就是进行数据的分析
<未完待续>