Pandas数据分析
Pandas
pandas 是基于NumPy 的一种工具，该工具是为解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现，它是使Python成为强大而高效的数据分析环境的重要因素之一。
简介
Pandas [1] 是python的一个数据分析包，最初由AQR Capital Management于2008年4月开发，并于2009年底开源出来，目前由专注于Python数据包开发的PyData开发team继续开发和维护，属于PyData项目的一部分。Pandas最初被作为金融数据分析工具而开发出来，因此，pandas为时间序列分析提供了很好的支持。 Pandas的名称来自于面板数据（panel data）和python数据分析（data analysis）。panel data是经济学中关于多维数据集的一个术语，在Pandas中也提供了panel的数据类型。
数据结构
- Series：一维数组，与Numpy中的一维array类似。二者与Python基本的数据结构List也很相近。Series如今能保存不同种数据类型，字符串、boolean值、数字等都能保存在Series中。
- Time- Series：以时间为索引的Series。
- DataFrame：二维的表格型数据结构。很多功能与R中的data.frame类似。可以将DataFrame理解为Series的容器。
- Panel ：三维的数组，可以理解为DataFrame的容器。
- Panel4D：是像Panel一样的4维数据容器。
- PanelND：拥有factory集合，可以创建像Panel4D一样N维命名容器的模块。
数据的读取
数据读写
从csv、xlsx、txt等文件格式中读取数据：
athlete = pd.read_csv('./input/athlete.csv') # athlete1 = pd.read_excel('./input/athlete.xlsx') # athlete2 = pd.read_csv('./input/athlete.txt',delimiter="\t") #制表符
查看数据类型和大小
type(athlete) # athlete.shape
数据的索引与切片
查看索引列名
athlete.columns # athlete.index # athlete.values
查看部分数据
athlete.head(1) # athlete.tail(3) # athlete.sample(3)
数据索引和切片
选取一列的三种方式：
# athlete['Sex'] # athlete.loc[:,'Sex'] #loc按索引名称切片 用于选取行索引列索引已知 # athlete.iloc[:,2] #选取某一列 按默认索引（实际位置）切片，不知道列名只知道列的位置时 # type(athlete['Sex']) #Series # type(athlete[['Sex']]) #DataFrame
选取一行的两种方式：
# athlete[2] #错误 # athlete.loc[2] athlete.iloc[2] #选取某一行
选取多行或多列：
# 选取多行或多列 # athlete.iloc[0:5] #显示前五行 同head() # athlete.iloc[:,0:5] #显示前五列 athlete.iloc[0:5,0:5] #前五列+前五行
选取某行某列：
athlete.loc[2,'Sex'] #选取某行某列 # athlete.iloc[2,2] # athlete.loc[2:4,['Sex','Age']] #选取某几行某几列 # athlete.iloc[2:4,2:4]
数据的增加删除和修改
删除某列
# athlete.drop('Sex',axis=1) #axis=1 ，删除columns，axis=0 指删除index； # athlete.head() # inplace=False，#默认,不改变原数据，返回新dataframe； athlete.drop('Sex',axis=1,inplace=True)
删除某行
# athlete.drop(0,axis=0) #删除某行 # athlete.head(1) athlete.drop(0,axis=0,inplace=True)
增加一列/行
#增加一列 insert #增加一行 concat athlete['rate'] = athlete['Weight']/athlete['Height']
更改某个值
athlete.iloc[2,2] = 18
更改某一列/行
# athlete['Weight'] = 100 athlete.iloc[0] = 0
描述性统计
更直观的概览 describe()
# athlete.describe() # type(athlete.describe()) # athlete.describe().loc['mean','Age'] # athlete.describe(include='all') athlete.info()
根据列中不同值分组，统计每组的个数 value_counts()：
# athlete['Age'].value_counts() #除去非空值，每一列中不同值分别出现的次数 # athlete['Height'].value_counts() athlete['Team'].value_counts()
athlete['Medal'].value_counts() # athlete['Medal'].value_counts(dropna=False) # type(athlete['Medal'].value_counts(dropna=False)) # athlete['Medal'].value_counts(dropna=False).index[1]
某列单独的聚合计算：
# 某列单独计算 athlete['Height'].mean() # athlete['Height'].max() # athlete['Height'].min()
Pandas绘图
直方图
# athlete['Height'].plot(kind='hist') #频数分布 %matplotlib inline athlete['Age'].plot(kind='hist',color='red',title="Age distribution") athlete['Age'].plot(kind='hist',color='red',title="Age distribution").set_xlabel("Age")
条形图
# athlete['Medal'].value_counts(dropna=False).plot(kind='bar',rot=360) #离散型的多用条形图 athlete['Medal'].value_counts().plot(kind='barh') #水平条形图
箱线，饼图，散点图
# athlete['Age'].plot(kind='box') #箱线图 # athlete['Age'].value_counts().plot(kind='pie') #饼图 athlete.plot(kind="scatter",x='Weight',y='Height') # 两个变量，散点图
利用数据进行建模
分组聚合
size()同value_counts()：
athlete['Sex'].value_counts() athlete.groupby('Sex').size()
按一个键分组：
# athlete.groupby('Sex')['Height'].mean() # athlete.groupby('Sex')['Height'].mean().plot(kind="bar",rot=360) # athlete.groupby('Sex')['Age','Height','Weight'].mean() athlete.groupby('Sex')['Age','Height','Weight'].mean().plot() # athlete.groupby('Sex')['Age','Height','Weight'].agg(['mean','max','min'])
按多个键分组，层次化索引：
athlete.groupby(['Year','Season']).size() type(athlete.groupby(['Year','Season']).size()) # athlete.groupby(['Year','Season'])['Age','Height','Weight'].mean() # type(athlete.groupby(['Year','Season'])['Age','Height','Weight'].mean()) #层次化索引 # athlete.groupby(['Year','Season'])['Age','Height','Weight'].mean().iloc[4,:]
数据规整
判断是否为空：
# athlete.isnull() # athlete.notnull() athlete.isnull().any()
athlete['Age'].isnull().value_counts() athlete['Height'].isnull().value_counts()
填充空值：
athlete['Height'] = athlete['Height'].fillna(athlete['Height'].mean()) athlete['Weight'] = athlete['Weight'].fillna(athlete['Weight'].mean())
删除空值：
athlete = athlete[athlete['Age'].notnull()] # athlete['Age'].value_counts(dropna=False) # athlete['Medal'].value_counts(dropna=False) #数据太多，模型跑的时间久；属于不同类别的样本的分布不平衡，过采样 athlete = athlete[athlete['Medal'].notnull()]
特征编码：
#消除差序关系，自动跳过数值型数据 X = pd.get_dummies(athlete[['Age','Sex','Weight','Height','Team','NOC','Games','Year','Season','City','Sport','Event']]) y = athlete['Medal']
数据建模
划分训练集和数据集：
from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2,random_state=0)
模型选择：随机森林：
from sklearn.ensemble import RandomForestClassifier clf = RandomForestClassifier(n_estimators=100) clf.fit(X_train,y_train) print(clf)
模型评估：
from sklearn import metrics y_predict = clf.predict(X_test) print(metrics.classification_report(y_test, y_predict)) print(metrics.confusion_matrix(y_test,y_predict))
准确率：
metrics.accuracy_score(y_test, y_predict)
