Pandas与Matplotlib基础
pandas是Python中开源的，高性能的用于数据分析的库。其中包含了很多可用的数据结构及功能，各种结构支持相互转换，并且支持读取、保存数据。结合matplotlib库，可以将数据已图表的形式可视化，反映出数据的各项特征。
先借用一张图来描述一下pandas的一些基本使用方法，下面会通过一些实例对这些知识点进行应用。
一、安装pandas库
pandas库不属于Python自带的库，所以需要单独下载，如果已经安装了Python，可以使用pip工具下载pandas：
pip install pandas
如果还未安装Python的话，推荐使用Anaconda，一款集成了Python及其一系列用于数据分析、科学计算的专用包的平台，省去了单独安装各个库的麻烦(内置Python版本为3.6)。
二、pandas的基本数据结构
1.Seris
Seris是一维的，带索引的数组，支持多种数据类型。可以使用列表进行转换：
s = pd.Series([3, -5, 7, 4], index=['a', 'b', 'c', 'd']) print(s) # result a 3 b -5 c 7 d 4 dtype: int64
也可以重新指定索引：
s.index = ['A', 'B', 'C', 'D'] print(s) # result A 3 B -5 C 7 D 4 dtype: int64
2.DataFrame
一种二维的，类似于Excel表格的数据结构，可以为其指定列名、索引名。
将字典结构转换为DataFrame：
data = { 'Country': ['Belgium', 'India', 'Brazil'], 'Capital': ['Brussels', 'New Delhi', 'Brasília'], 'Population': [11190846, 1303171035, 207847528] } df = pd.DataFrame(data, columns=['Country', 'Capital', 'Population']) print(df) # result Country Capital Population 0 Belgium Brussels 11190846 1 India New Delhi 1303171035 2 Brazil Brasília 207847528
三、基本操作
1.查看DataFrame数据的基本信息：
对已一个刚接触的数据集，最好的了解它的方式就是先通过一些简单的命令查看他的基本结构，比如有多少行、多少列，列名是什么，是否有索引等等。pandas提供了这样的一系列命令让我们能够轻松的进行查询(以下部分实例使用此数据集)。
1) 查看行列信息：
print(df.shape) # result (260, 218)
说明df包含260行，218列数据。
2) 查看列名及索引名：
print(df.columns) print(df.index) # result Index(['Life expectancy', '1800', '1801', '1802', '1803', '1804', '1805', '1806', '1807', '1808', ... '2007', '2008', '2009', '2010', '2011', '2012', '2013', '2014', '2015', '2016'], dtype='object', length=218) Int64Index([ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, ... 250, 251, 252, 253, 254, 255, 256, 257, 258, 259], dtype='int64', length=260)
3) 查看描述该DataFrame的基本信息：
print(df.info()) # result <class 'pandas.core.frame.DataFrame'> Int64Index: 260 entries, 0 to 259 Columns: 218 entries, Life expectancy to 2016 dtypes: float64(217), object(1) memory usage: 444.8+ KB
可以看出df.info()显示的信息较全面，对索引、列、数据类型都做出了描述。
4) 查看开头/结尾几行的数据：
对数据的基本情况了解后，有时候我们可能还想看一下具体的数据，从而有一个更加全面的认识，可以使用head(), tail()方法查看DataFrame的前几行/后几行数据。
print(df.head()) # result Life expectancy 1800 1801 1802 1803 1804 1805 1806 \ 0 Abkhazia NaN NaN NaN NaN NaN NaN NaN 1 Afghanistan 28.21 28.20 28.19 28.18 28.17 28.16 28.15 2 Akrotiri and Dhekelia NaN NaN NaN NaN NaN NaN NaN 3 Albania 35.40 35.40 35.40 35.40 35.40 35.40 35.40 4 Algeria 28.82 28.82 28.82 28.82 28.82 28.82 28.82 1807 1808 ... 2016 0 NaN NaN ... 0 NaN 1 28.14 28.13 ... 1 52.72 2 NaN NaN ... 2 NaN 3 35.40 35.40 ... 3 78.10 4 28.82 28.82 ... 4 76.50 [5 rows x 218 columns]
print(df.tail()) # result Life expectancy 1800 1801 1802 1803 1804 1805 1806 1807 \ 255 Yugoslavia NaN NaN NaN NaN NaN NaN NaN NaN 256 Zambia 32.60 32.60 32.60 32.60 32.60 32.60 32.60 32.60 257 Zimbabwe 33.70 33.70 33.70 33.70 33.70 33.70 33.70 33.70 258 ?land NaN NaN NaN NaN NaN NaN NaN NaN 259 South Sudan 26.67 26.67 26.67 26.67 26.67 26.67 26.67 26.67 1808 ... 2016 255 NaN ... NaN 256 32.60 ... 57.10 257 33.70 ... 61.69 258 NaN ... NaN 259 26.67 ... 56.10 [5 rows x 218 columns]
我使用的这个数据集的列有点多，所以python使用了"\"进行换行，并使用省略号省去了大部分的列数据，使其不必显示所有的列。
2.从DataFrame中选择子集：
对于一个较庞大的数据集，我们有时候只想对其中的一部分数据进行分析，那么我们就需要用合适的方法从中取出。pandas支持使用多种方式对数据进行选取：
1) 根据列名选择：
selected_cols = ['2010', '2011', '2012'] date_df = df[selected_cols] print(date_df.head()) # result 2010 2011 2012 0 NaN NaN NaN 1 53.6 54.0 54.4 2 NaN NaN NaN 3 77.2 77.4 77.5 4 76.0 76.1 76.2
2) 根据标签选择：
使用loc[]方法通过指定列名、索引名来获得相应的数据集。以我上面使用的df数据为例，取第250行的'Life expectancy'列的数据：
print(df.loc[250, 'Life expectancy']) # result 250 Vietnam Name: Life expectancy, dtype: object
3) 根据位置选择：
使用iloc[]通过指定列名、索引名对应的索引位置(从0到n-1)获取数据(可以使用slice分片方式表示)。如果我想取前十行中最后两列的数据，应该这样表示：
df.iloc[:10, -2:] # result 2015 2016 0 NaN NaN 1 53.8 52.72 2 NaN NaN 3 78.0 78.10 4 76.4 76.50 5 72.9 73.00 6 84.8 84.80 7 59.6 60.00 8 NaN NaN 9 76.4 76.50
注：iloc[]中的slice分片方式与列表的分片方式相同，都不包含最后一位。例如上面的df.iloc[:10, -2:]值包含0~9行，而不包含第10行数据。
4) 布尔索引(Boolean Indexing)
也叫做布尔掩码(Boolean mask)，是指先根据条件对DataFrame进行运算，生成一个值为True/False的DataFrame，再通过此DF与原DF进行匹配，得到符合条件的DF。
mask = df > 50 print(df[mask].head()) #result Life expectancy 1800 1801 1802 1803 1804 1805 1806 1807 \ 0 Abkhazia NaN NaN NaN NaN NaN NaN NaN NaN 1 Afghanistan NaN NaN NaN NaN NaN NaN NaN NaN 2 Akrotiri and Dhekelia NaN NaN NaN NaN NaN NaN NaN NaN 3 Albania NaN NaN NaN NaN NaN NaN NaN NaN 4 Algeria NaN NaN NaN NaN NaN NaN NaN NaN 1808 ... 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 0 NaN ... NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 1 NaN ... 52.4 52.8 53.3 53.6 54.0 54.4 54.8 54.9 53.8 52.72 2 NaN ... NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 3 NaN ... 76.6 76.8 77.0 77.2 77.4 77.5 77.7 77.9 78.0 78.10 4 NaN ... 75.3 75.5 75.7 76.0 76.1 76.2 76.3 76.3 76.4 76.50 [5 rows x 218 columns]
不符合条件的显示为NaN。
3.Broadcasting
通过将某一列的值刷成固定的值。例如对一些身高数据做转换时，添加一列'SEX'列，并统一将值更新为'MALE'：
heights = [59.0, 65.2, 62.9, 65.4, 63.7] data = { 'height': heights, 'sex': 'Male', } df_heights = pd.DataFrame(data) print(df_heights) # result height sex 0 59.0 Male 1 65.2 Male 2 62.9 Male 3 65.4 Male 4 63.7 Male
4.设置列名及索引名：
如果需要重新指定列名或索引名，可直接通过df.columns()，df.index()指定。
df_heights.columns = ['HEIGHT', 'SEX'] df_heights.index = ['david', 'bob', 'lily', 'sara', 'tim'] print(df_heights) # result HEIGHT SEX david 59.0 Male bob 65.2 Male lily 62.9 Male sara 65.4 Male tim 63.7 Male
5.使用聚合函数
如果需要对数据进行一些统计，可使用聚合函数进行计算。
1) df.sum()
将所有值按列加到一起：
print(df_heights.sum()) # result HEIGHT 316.2 SEX MaleMaleMaleMaleMale dtype: object
字符串sum后会合并在一起。
2) df.cumsum()
统计累积加和值：
print(df_heights.cumsum()) # result HEIGHT SEX david 59 Male bob 124.2 MaleMale lily 187.1 MaleMaleMale sara 252.5 MaleMaleMaleMale tim 316.2 MaleMaleMaleMaleMale
3) df.max() / df.min()
求最大/最小值
print(df_heights.max()) # result HEIGHT 65.4 SEX Male dtype: object
print(df_heights.min()) # result HEIGHT 59 SEX Male dtype: object
注： df.idxmax() / df.idxmin() 方法可得极值对应的索引值。
4) df.mean()
求平均数
print(df_heights.mean()) # result HEIGHT 63.24 dtype: float64
数据类型为字符串的列会被自动过滤。
5) df.median()
求中位数
print(df_heights.median()) # result HEIGHT 63.7 dtype: float64
6) df.describe()
获取DF的基本统计信息：
print(df_heights.describe()) # result HEIGHT count 5.000000 mean 63.240000 std 2.589015 min 59.000000 25% 62.900000 50% 63.700000 75% 65.200000 max 65.400000
6.从DataFrame中删除数据
1) 通过指定行索引删除行数据：
df_heights.drop(['david', 'tim'])
print(df_heights) # result
HEIGHT SEX
david 59.0 Male
bob 65.2 Male
lily 62.9 Male
sara 65.4 Male
tim 63.7 Male
我们发现drop'david', 'tim'所在行后，再次打印df_height，之前删除的两行数据还在。说明drop()方法不会直接对原有的DF进行操作，如果需要改变原DF，需要进行赋值：
df_heights = df_heights.drop(['david', 'tim']) print(df_heights) # result HEIGHT SEX bob 65.2 Male lily 62.9 Male sara 65.4 Male
2) 通过指定列值删除列数据(需指定axis=1)：
print(df_heights.drop('SEX', axis=1)) # result HEIGHT david 177.0 bob 195.6 lily 188.7 sara 196.2 tim 191.1
同样，如果需要改变原DF，需要重新赋值。
7.排序
1) 根据索引值进行排序：
print(df_heights.sort_index()) # result HEIGHT SEX bob 65.2 Male david 59.0 Male lily 62.9 Male sara 65.4 Male tim 63.7 Male
2) 根据值进行排序(需指定列名)：
print(df_heights.sort_values(by='HEIGHT')) # result HEIGHT SEX david 59.0 Male lily 62.9 Male tim 63.7 Male bob 65.2 Male sara 65.4 Male
8.排名
根据列值进行排名：
print(df_heights.rank()) # result HEIGHT SEX david 1.0 3.0 bob 4.0 3.0 lily 2.0 3.0 sara 5.0 3.0 tim 3.0 3.0
9.使用lambda函数：
例如，对df_heights中的身高列进行转换(inch -> cm)：
df_heights = df_heights.apply(lambda height: height*3) print(df_heights) # result HEIGHT SEX david 177.0 MaleMaleMale bob 195.6 MaleMaleMale lily 188.7 MaleMaleMale sara 196.2 MaleMaleMale tim 191.1 MaleMaleMale
四、csv文件的导入导出
1.csv导入(数据集)：
df = pd.read_csv("tips.csv") print(df.info()) # result <class 'pandas.core.frame.DataFrame'> RangeIndex: 244 entries, 0 to 243 Data columns (total 8 columns): total_bill 244 non-null float64 tip 244 non-null float64 sex 244 non-null object smoker 244 non-null object day 244 non-null object time 244 non-null object size 244 non-null int64 fraction 244 non-null float64 dtypes: float64(3), int64(1), object(4) memory usage: 15.3+ KB
2.pd.read_csv()的一些常用选项
header=None: 不导入column
names: 指定column
df = pd.read_csv('tips.csv', header=None, names=column_names)
na_values: 将NaN替换成指定字符
df = pd.read_csv('tips.csv', header=None, names=column_names, na_values={'DAY': '-1'})
parse_dates:合并表示时间的列
date_df = pd.read_csv('created_date.csv', parse_dates=[[3, 4, 5]])
五、保存CSV文件
支持保存为csv格式及excel格式的文件：
date_df.to_csv('tips1.csv')
date_df.to_csv('tips2.csv', sep='|') # 分隔符为'|'
date_df.to_excel('tips3.xlsx')
六、配合Matplotlib绘制简单图表
Matplotlib库是python的一个2D图形库，可以生成多种高质量的图形，通过各种不同类型的图形体现数据的价值。
1.绘制折线图：
折线图一般用于反映数据在一段时间内的变化情况。我们先导入一份数据(Percentage of bachelor's degrees awarded to women in the USA)，这个数据集描述了从1970~2011年，美国女性在各个专业的学士学位获取比例的情况：
虽然数据比较全，但是仅仅从这个表格上去对比各个专业之间的差异还是有些困难的，这时我们就可以通过使用matplotlib画图表的方式展示这些数据之间的关系。
1) 引入pandas库后先导入数据：
import pandas as pd import matplotlib.pyplot as plt df = pd.read_csv('percent-bachelors-degrees-women-usa.csv', index_col='Year') print(df.info()) print(df.head()) # result Agriculture Architecture Art and Performance Biology Business \ ... ... Social Sciences and History Year ... ... Year 1970 4.229798 11.921005 59.7 29.088363 9.064439 ... ... 1970 36.8 1971 5.452797 12.003106 59.9 29.394403 9.503187 ... ... 1971 36.2 1972 7.420710 13.214594 60.4 29.810221 10.558962 ... ... 1972 36.1 1973 9.653602 14.791613 60.2 31.147915 12.804602 ... ... 1973 36.4 1974 14.074623 17.444688 61.9 32.996183 16.204850 ... ... 1974 37.3 <class 'pandas.core.frame.DataFrame'> Int64Index: 42 entries, 1970 to 2011 Data columns (total 17 columns): Agriculture 42 non-null float64 Architecture 42 non-null float64 Art and Performance 42 non-null float64 Biology 42 non-null float64 Business 42 non-null float64 Communications and Journalism 42 non-null float64 Computer Science 42 non-null float64 Education 42 non-null float64 Engineering 42 non-null float64 English 42 non-null float64 Foreign Languages 42 non-null float64 Health Professions 42 non-null float64 Math and Statistics 42 non-null float64 Physical Sciences 42 non-null float64 Psychology 42 non-null float64 Public Administration 42 non-null float64 Social Sciences and History 42 non-null float64 dtypes: float64(17) memory usage: 5.9 KB
可以看出，'Year'为索引列，这次数据统计一共包含了17个专业。
2) 绘图
可以使用matplotlib.pyplot中的plt()方法进行绘图。我们先试着分析某一列的数据，看一下具体是如何展示的：
df_CS = df['Computer Science'] plt.plot(df_CS) plt.show()
从图中我们看到，索引值作为X轴的刻度展示，Y轴则表示这一列的具体数值。从这个图中可以直观的看出这段时间学位的获取情况。
3) 添加标题和标签
仅仅这样展示似乎有些单调，matplotlib还提供了一系列可供自定义的功能：
df_CS = df['Computer Science'] plt.plot(df_CS) # 为图表添加标题 plt.title("Percentage of Computer Science's degrees awarded to women in the USA") # 为X轴添加标签 plt.xlabel("Years") # 为Y轴添加标签 plt.ylabel("Percentage") plt.show()
添加了标题和标签，就好看一些了。
4) 绘制多个图形进行对比
如果我们想看Math and Statistics与Computer Science的差异，可以一并绘出并展示：
df_CS = df['Computer Science'] df_MS = df['Math and Statistics'] # 可以通过DataFrame的plot()方法直接绘制 # color指定线条的颜色 # style指定线条的样式 # legend指定是否使用标识区分 df_CS.plot(color='b', style='.-', legend=True) df_MS.plot(color='r', style='-', legend=True) plt.title("Percentage of Computer Science's degrees VS Math and Statistics's") plt.xlabel("Years") plt.ylabel("Percentage") plt.show()
可以看出Math and Statistics明显高于Computer Science。
最后，我们绘制所有数据的曲线：
# alpha指定透明度(0~1) df.plot(alpha=0.7) plt.title("Percentage of bachelor's degrees awarded to women in the USA") plt.xlabel("Years") plt.ylabel("Percentage") # axis指定X轴Y轴的取值范围 plt.axis((1970, 2000, 0, 200)) plt.show()
5) 保存图像
使用plt.savefig()保存图像，支持PNG， JPG，PDF等格式。
plt.savefig('percent-bachelors.png')
plt.savefig('percent-bachelors.jpg')
plt.savefig('percent-bachelors.pdf')
2.其他类型的图像
除了折线图，matplob还支持绘制散点图等其他类型，只需要在调用plot()画图之前指定kind参数即可。
1) 散点图
散点图可以体现数据在一定范围内的分布情况。上述数据集不适合画散点图，所以我们重新导入一份著名的鸢尾花数据(在数据分析和机器学习中经常被用到)。
我们在导入数据后，分析sepal(萼片)的长度和宽度数据：
iris = pd.read_csv("iris.csv") # 源数据中没有给column，所以需要手动指定一下 iris.columns = ['sepal_length', 'sepal_width', 'petal_length', 'petal_width', 'species'] # kind表示图形的类型 # x, y 分别指定X, Y 轴所指定的数据 iris.plot(kind='scatter', x='sepal_length', y='sepal_width') plt.xlabel("sepal length in cm") plt.ylabel("sepal width in cm") plt.title("iris data analysis") plt.show()
从散点图可以看出，数据主要集中在中间靠下的这部分区域(如果使用折线图，就是这些点连起来的折线，将变得杂乱无章)。
2) box箱图
box箱图也可以体现数据的分布情况，与散点图不同的是，它还统计了最大/最小值、中位数的值，一目了然：
iris.plot(kind='box', y='sepal_length') plt.ylabel("sepal length in cm") plt.show()
3) Histogram柱状图
柱状图体现了数据的分布情况及出现的频率，将数据展示得更加直观。下面我们从数据集中取出类别为"Iris-setosa"的子集，并使用柱状图统计它的四类数据：
# 使用mask取出子集 mask = (iris.species == 'Iris-setosa') setosa = iris[mask] # bins指定柱状图的个数 # range指定X轴的取值范围 setosa.plot(kind='hist', bins=50, range=(0, 8), alpha=0.5) plt.title("setosa in iris") plt.xlabel("CM") plt.show()
Pandas与Matplotlib中常用的内容就给大家介绍到这了。这两种工具非常容易上手，但是想要精通，真正用好也需要花些心思。后面有机会再写一些较深入的文章吧 : )
