动手学数据分析系列---数据重构
复习：在前面我们已经学习了Pandas基础，第二章我们开始进入数据分析的业务部分，在第二章第一节的内容中，我们学习了数据的清洗，这一部分十分重要，只有数据变得相对干净，我们之后对数据的分析才可以更有力。而这一节，我们要做的是数据重构，数据重构依旧属于数据理解（准备）的范围。
开始之前，导入numpy、pandas包和数据
# 导入基本库 import numpy as np import pandas as pd # 载入data文件中的:train-left-up.csv df = pd.read_csv('./data/train-left-up.csv') df.head()
text_left_up = pd.read_csv("./data/train-left-up.csv") text_left_down = pd.read_csv("./data/train-left-down.csv") text_right_up = pd.read_csv("./data/train-right-up.csv") text_right_down = pd.read_csv("./data/train-right-down.csv")
2.4.2：任务二：使用concat方法：将数据train-left-up.csv和train-right-up.csv横向合并为一张表，并保存这张表为result_up
up_list = [text_left_up,text_right_up] result_up = pd.concat(up_list, axis=1) result_up.head()
2.4.3 任务三：使用concat方法：将train-left-down和train-right-down横向合并为一张表，并保存这张表为result_down。然后将上边的result_up和result_down纵向合并为result。
down_list = [text_left_down,text_right_down] result_down = pd.concat(down_list,axis=1) result = pd.concat([result_up,result_down]) result.head()
2.4.4 任务四：使用DataFrame自带的方法join方法和append：完成任务二和任务三的任务
result_up = text_left_up.join(text_right_up) result_down = text_left_down.join(text_right_down) result = result_up.append(result_down) result.head()
2.4.5 任务五：使用Panads的merge方法和DataFrame的append方法：完成任务二和任务三的任务
result_up = pd.merge(text_left_up,text_right_up,left_index=True,right_index=True) result_down = pd.merge(text_left_down,text_right_down,left_index=True,right_index=True) result = result_up.append(result_down) result.head()
2.4.6 任务六：完成的数据保存为result.csv
result.to_csv('result.csv')
2.5.1 任务一：将我们的数据变为Series类型的数据
df = pd.read_csv('result.csv') df.head() unit_result = df.stack() unit_result.head()
unit_result.to_csv('unit_result.csv') test = pd.read_csv('unit_result.csv') test.head()
2.6 数据运用：数据聚合与运算
# 载入上一个任务人保存的文件中:result.csv，并查看这个文件 df = pd.read_csv('result.csv') df.head()
2.6.1 任务一：通过教材《Python for Data Analysis》P303、Google or anything来学习了解GroupBy机制
groupby的操作可以被分为3部分：
第一步，存储于series或DataFrame中的数据，根据不同的keys会被split（分割）为多个组。（这个分组可以按照不同的轴进行划分，axis=0按照行；axis=1按照列）
第二步，我们可以把函数例如mean等，apply在每一个组上，产生一个新的值。
第三步，函数产生的结果被combine(结合)为一个结果对象（result object）。
2.4.2：任务二：计算泰坦尼克号男性与女性的平均票价
df1 = df['Fare'].groupby(df['Sex']) means = df1.mean() means
2.4.3：任务三：统计泰坦尼克号中男女的存活人数
survived_nums = df['Survived'].groupby(df['Sex']).sum() survived_nums.head()
2.4.4：任务四：计算客舱不同等级的存活人数
survived_pclass_nums = df['Survived'].groupby(df['Pclass']).sum() survived_pclass_nums.head()
【思考】从任务二到任务三中，这些运算可以通过agg()函数来同时计算。并且可以使用rename函数修改列名。
df.groupby('Sex').agg({'Fare': 'mean', 'Pclass': 'count'}).rename(columns= {'Fare': 'mean_fare', 'Pclass': 'count_pclass'})
2.4.5：任务五：统计在不同等级的票中的不同年龄的船票花费的平均值
df.groupby(['Pclass','Age'])['Fare'].mean().head()
2.4.6：任务六：将任务二和任务三的数据合并，并保存到sex_fare_survived.csv
result = pd.merge(means,survived_nums,on='Sex') result
2.4.7：任务七：得出不同年龄的总的存活人数，然后找出存活人数的最高的年龄，最后计算存活人数最高的存活率（存活人数/总人数）
#不同年龄的存活人数 survived_age = df['Survived'].groupby(df['Age']).sum() survived_age.head() #找出最大值的年龄段 survived_age[survived_age.values==survived_age.max()] survived_sum = df['Survived'].sum() print(f"sum of person:{str(survived_sum)}")
percent =survived_age.max()/survived_sum print(f"最大存活率：{str(percent)}")
