Pandas库的学习使用（一）

Pandas DataFrame基础知识

本章主要讲述pandas一些Pandas DataFrame的基础知识

1.1简介

Pandas [1]  是python的一个数据分析包，最初由AQR Capital Management于2008年4月开发，并于2009年底开源出来，目前由专注于Python数据包开发的PyData开发team继续开发和维护，属于PyData项目的一部分。Pandas最初被作为金融数据分析工具而开发出来，因此，pandas为时间序列分析提供了很好的支持。 Pandas的名称来自于面板数据（panel data）和python数据分析（data analysis）。panel data是经济学中关于多维数据集的一个术语，在Pandas中也提供了panel的数据类型。

1.2加载数据集

import pandas as pd
# file_path=(r'data/gapminder.tsv')
# df=pd.read_csv(r'C:\Users\123\Desktop\pandas_exerices\data\gapminder.tsv',sep=',')#输出的数据其中的符号为,
df=pd.read_csv(r'C:\Users\123\Desktop\pandas_exerices\data\gapminder.tsv',sep='\t')#输出的数据多一个table
print(df.head())#读取前5行的数据
print(type(df))#检查返回的数据是否为DataFrame
print(df.shape)#Read the shape of the data, namely rows and columns（rows，columns）
print(df.columns)#读取列名
print(df.dtypes)#读取每列的dtype
print(df.info())#获取更多信息

 

 1.2查看列和行&单元格

 

1.2.1获取列子集

country_1=df['country']#读取数据集中名为country的一列的所有内容并且命名为country_1
print(country_1.head())#打印前五列
print(country_1.tail())#打印后五列

subset=df[['country', 'continent', 'year']]#通过列名指定多列
print(subset.head())

 

 

 

 

 1.2.2获取行子集

 

print(df.loc[0])#读取第一行，python从0开始计数
print(df.loc[99])#读取第100行
# print(df.loc[-1])无法读取该数据集，因为该数据集会从搜索-1行
number_of_rows=df.shape[0]
last_row=number_of_rows-1
print(df.loc[last_row])
print(df.tail(n=1))#tail和loc输出的最后一行数据类型不同\

 

 

 

 

#tail和loc输出的最后一行数据类型不同
subset_1=df.loc[0]
subset_2=df.tail(1)
subset_3=df.iloc[0]
print(type(subset_2))
print(type(subset_1))
print(type(subset_3))

 

 

 

 1.2.2.2

 

1.2.3混合

1.2.3.1 获取列子集

#使用loc获取列子集
#注意冒号使用位置
#冒号用于选择所有行
#df.iloc[:,[列]]获取列子集
subset = df.loc[:, ['year', 'pop']]
print(subset.head())
#iloc支持使用整数
#iloc支持-1选择最后一列
subset = df.iloc[:,[1,0,-1]]
print(subset.head())
#通过范围选择列子集
print("*"*100)
small_range =list(range(0,6))
print(small_range)
subset = df.iloc[:,small_range]
print(subset.head())

large_range =list(range(3,6))
print(large_range)
subset =df.iloc[:,large_range]
print(subset.head())
# super_range =list(range(100))
# subse_big =df.iloc[:,super_range]
# print(subse_big.head())
# IndexError: positional indexers are out-of-bounds
print(df.columns)
subset = df.iloc[:,:3]#获取前三列
print(subset.head())
subset = df.iloc[:,3:6]#获取第4 5 6列数据
print(subset.head())
subset = df.iloc[:,0:6:2]#2为步长，此处获取的是1，3，5
subset = df.iloc[:,0:6:3]#3为步长，此处获取的是1，4列
subset = df.iloc[:,::]
print(subset.head())

#使用loc
print(df.loc[42,'country'])
#使用iloc
print(df.iloc[42,0])

 

 

 

 

df.iloc[:,:0:6:1]=df,iloc[:,::]=df.iloc[:,0:6:]=df.iloc[:,0::1]=…

 

 

1.2.4获取行和列的子集

#使用loc
print(df.loc[42,'country'])
#使用iloc
print(df.iloc[42,0])

 

 

 

 

 

#获取continentpopgdpPercap
print(df.iloc[[99,98,64],[1,4,5]])
print(df.loc[[99,98,64],['continent','pop','gdpPercap']])
#注意，在iloc和loc行部分可以使用切片语法
print(df.iloc[10:15,[2,4,5]])
print(df.loc[10:15,['year','pop','gdpPercap']])

 

 

 

 1.4分组和聚合计算

1.4.1分组方式

#分组计算
print(df.groupby('year')['lifeExp'].mean())
#详细解释
groupby_year_df=df.groupby('year')
print(groupby_year_df)
print(type(groupby_year_df))
#step2
print("*"*100)
groupby_year_df_lifeExp=groupby_year_df['lifeExp']
print(groupby_year_df_lifeExp)
print(type(groupby_year_df_lifeExp))

mean_lifeExp_by_year=groupby_year_df_lifeExp.mean()
print(mean_lifeExp_by_year)

 

 

 

 

#计算每个国家的平均寿命
print(df.groupby('country')['lifeExp'].mean().head(10))

 

 

 

 

#计算国家gdp和平均年龄
print(df.groupby(['year','continent'])[['lifeExp','gdpPercap']].mean())

 

 

 

 

 

 

 

 

 

 

 

#平铺数据
falt=df.groupby(['year','continent'])[['lifeExp','gdpPercap']].mean().reset_index()
print(falt)

 

 

 

 

 

 

 

 

 

 

 1.4.2分组频率计数

#计算频率各大洲国家出现的频率
print(df.groupby('continent')['country'].nunique())

 

 

 

 

 1.5基本绘图

global_yearly_life_expectancy=df.groupby('year')['lifeExp'].mean()
print(global_yearly_life_expectancy)
global_yearly_life_expectancy.plot()

 

 

 

 

 

 Day 2复习

import pandas as pd
df=pd.read_csv(r'C:\Users\123\Desktop\pandas_exerices\data\housing.csv',sep=',')
print(df.head())#读取头文件前5行
print(df.columns)#读取列名
#计算'Neighborhood'的平均、'Year.Built'
year_groupby = df.groupby('Neighborhood')['Year.Built'].mean().reset_index()
print(year_groupby)
year = df.groupby('Year.Built')['Boro'].nunique()
print(year)
print(df.iloc[:,::])
print('*'*100)
print(df.iloc[:,[1,2,3]])#读取第二三四列
print('*'*100)
print(df.loc[10:15,['Building.Classification', 'Total.Units', 'Year.Built']])
#读取第10-15行（row+1和'Building.Classification', 'Total.Units', 'Year.Built'列
print(df.tail(5))#读取倒数5行