python | 数据分析（二）- Pandas数据包

Pandas是基于NumPy的另一个python数据分析库，提供了一套名为DataFrame的数据结构，实现高性能数据操作和分析。

 

Pandas的主要特点：

　　快速高效的DataFrame对象，具有默认和自定义的索引；

　　将数据从不同文件格式加载到内存中的数据对象的工具；

　　丢失数据的数据对齐和综合处理；

　　重组和摆动日期集；

　　基于标签的切片，索引和大数据集的子集；

　　可以删除或插入来自数据结构的列；

　　按数据分组进行聚合和转换；

　　高性能合并和数据加入；

　　时间序列功能；

 

详细教程：https://www.yiibai.com/pandas/

10 Minutes to pandas:http://pandas.pydata.org/pandas-docs/stable/10min.html

以下为代码笔记：

# 导入pandas包
import pandas as pd

#1 DataFrame基本操作
# 创建6*4的随机矩阵
df = pd.DataFrame(np.random.randn(6,4), columns=list('ABCD'))

df.dtypes             #类型
df.head(3)            #前三行
df.tail(5)            #后五行
df.describe()         #描述性统计
df.T                  #转置
df.sort(columns='C')  #按C列排序
df.iloc[1:3, :]       #数据切片

#2 筛选数据
df[(df.D>0) & (df.C<0)]                   #多个关系筛选
df[['A','B']][(df.D>0) & (df.C<0)]   #只返回特定列结果

#3 读取csv数据
os.getcwd()     #获取当前工作目录
df = pd.read_csv('self/…', engine='python', encoding='gbk') #读取文件

#4 数据选择
df[u'专业名称' u'学号'][:3]  #前三行数据

#5 数据统计
counts=df[u'专业名称'].value_counts()  #结果会打印出选择列及对应值 

#6 数据分组
#创建数据
df = pd.DataFrame({'A': ['foo', 'bar', 'foo', 'bar', 'foo', 'bar', 'foo', 'foo'], 'B': ['one','one','three','one','two','one','one','three'], 'C':np.random.randn(8), 'D':np.random.randn(8)})

#分组
grouped = df.groupby(['A', 'B'])
print (gourped.last())  #打印最后一行

#按函数分组
def get_type(letter):
	if letter.lower() in 'abem':
		
                return 'vowel'
	else:
		return 'consonant'

grouped = df.groupby(get_type, axis = 1)
print (grouped.first())

#7 transformation 标准化数据
#将一列数据转换为以1为标准差以0为平均数的标准分数

#创建series对象，以时间戳为index
index = pd.date_range('1/1/2014', periods=100)
ts=pd.Series(np.random.normal(0.5, 2, 100),index)

key = lambda x: x.month       #按月分组
zscore = lambda x: (x-x.mean())/x.std()

transformed =ts.groupby(key).transform(zscore)

print(transformed.groupby(key).mean())
print(transformed.groupby(key).std())

#8 agg分组多种计算
#先创建一个DataFrame
import numpy as np
import pandas.util.testing as tm

colors=tm.np.random.choice(['red','green'],size=10)
foods=tm.np.random.choice(['egg','ham'],size=10)

index=pd.MultiIndex.from_arrays([colors, foods],names=['color','food'])
df=pd.DataFrame(np.random.randn(10,2), index=index)
df.columns = ['a','b']


grouped = df.groupby(level='color')

#计算各组的总数，平均数，标准差
print (grouped.agg([np.sum, np.mean, np.std]))

grouped['a'].agg([np.sum, np.me..  #针对a列计算
grouped['a'].agg({'SUM result': np.sum, 'Mean result': np.mean ..})                                       #自设列标题
grouped['a'].agg({'lambda': lambda x: np.mean(abs(x))})  #通过lambda匿名函数

#9 按月分组
key = lambda x:x.month
grouped = ts.groupby(key)

df=pd.DataFrame({'date':date, 'data':data})
print(df.groupby(df['date'].apply(lambda x:x.month)))  #按日期格式分组并设置列名

#10 字符串日期转Date
date_stngs = (…)
a = pd.Series([pd.to_datetime(date) for date in date_stngs])

#11 移动、复制、删除列
df['c'] = pd.Series(np.random.randn(10), index=df.index)  #增加列
df.insert(1, 'e', df['a'])  #插入列 （位置，列名，值）
df = df.drop(['a', 'b'], axis = 1)  #丢到某列

b = df.pop('b')
df.insert(0, 'b', b)   #移动列

#12 Series 创建带索引数据
ser1 = Series([1,2,3,4])   #默认索引
ser2 = Series(range(4),index = ["a","b","c","d"])    #自定义索引

ser3 = Series({'Ohio': 35000, 'Texas': 71000, 'Oregon': 16000, 'Utah': 5000})    #用字典创建

可以通过索引访问值，也可通过ser.values/index 获取所有值/索引

#13 字符串操作
s = pd.Series(list('ABCDEF'))   
print (s)

#同普通字符串操作一样
s.str.upper()
s.str.len()
s.str.split('_')
s.str.replace('^a|b$', 'X', case=False)

s.str.extract('()()')     #字符串提取，每个括号代表一个条件
s.str.contains(条件, na = False)           #包含字符串
s.str.match(条件，as_indexer=False)  #匹配字符串
startswith, endwith…

#14 读写sql数据库
#read_sql接受两个参数，一个是sql语句；一个是con（数据库连接）、read_sql直接返回一个DataFrame对象
con = sqlite3.connect("xx.sqlite") 
sql = "select * from weather_2012 LIMIT 3"
df = pd.read_sql(sql, con, index_col='id')  #将index_col值设置为列表

#写数据
con2 = sqlite3.connect("xx.sqlite") 
con2.execute(“drop table if exists weather_2012”)
pd.io.sql.write_frame(df, “weather_2012”, con2)

#15 广播
对矩阵中每个元素执行相同的操作
df = pd.DataFrame({'one':pd.Series(np.random.randn(4), index=list('abcd'))})
df['two']=1
df['thr']=2

#得到一行和一列
row=df.ix[1]      #ix[1, :-1] 
columns = df['two']

#将df中每一行与row做减法
print(df.sub(row, axis='columns'))  #axis指定广播的纬度

#16 缺失值计算
#简单运算中，运算后相应位置也是缺失的；
df.fillna(0)  #0值填充，也可以用字符串等填充
df.fillna(method='bfill', limit=1)  #后面值填充
df.fillna(df.mean())   #均值填充
df.fillna(df.mean()['one', 'two'])  #指定列填充
df.interpolate()   #插值法估计缺失值  默认直线  #method='values'/'time', 会根据df的类型来自动估计

df.dropna(axis =0)  #删除缺失值的行  axis=1为删除列

#17 值替换
ser = pd.Series([0,1 …])
ser.replace(0, 6)
ser.replace({1:11, 2:12})  #字典映射

#同样适用于df对象
df[['a', 'b']].replace(2, 10)  #指定多列进行替换
#若多个列中不同的值都要替换为一个相同的值，可以使用字典的方法表示所有需要被替换的值：
df.replace({'a':0, 'b':5}, np.nan)

　　

备注：目前写博客是为了进行知识和笔记梳理。博客本身可能还存在着一些错误，如有发现，请求斧正，谢谢。