panda强化练习2
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False # 用来正常显示负号
In [2]:
#读取excel数据并转化为csv格式
data_xls=pd.read_excel('地市级党委书记数据库（2000-10）.xls','中国人民共和国地市级党委书记数据库（2000-10）',index_col = 0)
data_xls.to_csv('test_csv.csv', encoding='utf-8')
In [3]:
#读取csv格式的文件
data=pd.read_csv('test_csv.csv')
data.head(5)
Out[3]:
In [4]:
#把列名转化长一个列表
filed=data.columns.tolist()
print(filed)
print(data.columns)
In [5]:
print(data.describe(include=[np.number]))
print('----------')
# .describe()返回基本数据信息
# .describe(include=[np.number])只统计数值类型
# ()中没有任何参数时，会默认只统计数值类型的字段内容，包括：计数，平均数，方差，最小值，最大值，四分位数，若其中有字符串数据会报错
print(data.describe(include=[np.object]))
# 这里代表只统计字符串类型的字段内容：计数，唯一值数量，出现频率最高的内容，最高出现频率
In [6]:
#取出性别这一列
data_gender=data['性别']
data_gender.head()
Out[6]:
In [7]:
#过来吃掉空值
data_gender_re=data_gender[data_gender.notnull()]
data_gender_re.head()
Out[7]:
In [8]:
#查看性别这一列都有那些数值
data_gender_re.unique()
Out[8]:
In [9]:
#统计总数
count_total=data_gender_re.count()
count_total
Out[9]:
In [10]:
#分别统计男女占比
count_m=data_gender_re[data_gender_re=='男'].count()
count_m
Out[10]:
In [11]:
#统计女的数量
count_f=data_gender_re[data_gender_re=='女'].count()
count_f
Out[11]:
In [12]:
#分别查看男女数量
data_gender_re.value_counts()
Out[12]:
In [13]:
#查看男占比
count_m/count_total
Out[13]:
In [14]:
#查看女占比
count_f/count_total
Out[14]:
按省份分析市委书记的女性比例
In [15]:
#取出省份和性别这两列，过滤掉性别为空的
data_gender2 = data[['省级政区名称','性别']]
data_gender2_re = data_gender2[data_gender2['性别'].notnull()]
data_gender2_re.head()
Out[15]:
In [16]:
#按省份分组，统计性别的频数
pt=pd.crosstab(data_gender2_re['省级政区名称'],data_gender2_re['性别'])
pt.head()
Out[16]:
In [17]:
#给pt1新增一列女性占比，按男性占比后赋值给pt2
pt['女性占比']=pt['女']/(pt['男']+pt['女'])
pt2=pt.sort_values(by=['女性占比'],ascending=False)
pt2.head()
Out[17]:
In [18]:
#根据上面结构绘图
#创建一张8*4的图标
fig_q1_1=plt.figure(figsize=(8,4))
#把省份作为横轴，取钱10个
index=pt2.index[:10]
plt.bar(range(10), # 横坐标
pt2['女性占比'][:10], # 纵坐标
tick_label=index, # 横轴标签
color = 'red' ) # 颜色
plt.title('不同省份女性市委书记占比')
plt.xlabel('省份')
plt.ylabel('女性占比')
plt.show()
In [19]:
##图标2：女性视为书籍的占比结构
fig_q1_2=plt.figure(figsize=(4,4))
plt.boxplot(pt2['女性占比'],#值
vert=True,#纵向
showmeans=True)#显示均值
plt.title('女性市委书记占比')
plt.xticks([])
plt.ylabel('女性占比')
plt.show()
年龄情况 ，专业情况
In [20]:
#年龄情况，整体年龄情况/入职年龄情况/退休年龄情况
data_age=data[['出生年份','党委书记姓名','年份']]
data_age.head()
Out[20]:
In [21]:
#过滤掉出生年份为空的
data_age_re=data_age[data_age['出生年份'].notnull()]
data_age_re.head()
Out[21]:
In [23]:
#查看出生年份的组成值
data_age_re['出生年份'].unique()
Out[23]:
In [24]:
#查看出生年份的描述
data_age_re.describe()
Out[24]:
In [31]:
#计算出整体年龄数据
df1=2017-data_age_re['出生年份']
df1.head()
Out[31]:
In [37]:
df1.describe()
Out[37]:
In [53]:
#计算入职年龄(先计算每个人入职年龄的最小值)，再看每个年份的入职人数
df_yearmin = data_age_re[['党委书记姓名','年份']].groupby(data_age_re['党委书记姓名']).min()
df2=df_yearmin['年份'].groupby(df_yearmin['年份']).count()
df2
Out[53]:
In [55]:
#查看卸任年龄
df_yearmax = data_age_re[['党委书记姓名','年份']].groupby(data_age_re['党委书记姓名']).max()
df3=df_yearmax.groupby(df_yearmax['年份']).count()
df3
Out[55]:
In [64]:
##专业情况 专业结构 / 专业整体情况 / 专业大类分布
data_major=data[['党委书记姓名','专业：人文','专业：社科','专业：理工','专业：农科','专业：医科']]
data_major_re=data[data_major['专业：人文'].notnull()]
data_major_re.head()
Out[64]:
In [66]:
data_major_re.mean()
Out[66]:
In [67]:
data_major_re.describe()
Out[67]:
In [86]:
#统计每个人的专业
data_major_re['专业']=data_major_re[['专业：人文', '专业：社科', '专业：理工', '专业：农科', '专业：医科']].idxmax(axis=1)
data_major_re.head()
Out[86]:
In [90]:
#去重
data_major_st=data_major_re[['党委书记姓名','专业']].drop_duplicates()
data_major_st.head()
Out[90]:
In [93]:
#统计专业结构
df4=data_major_st['专业'].groupby(data_major_st['专业']).count()
df4
Out[93]:
In [96]:
#计算每年专业的整体数据情况(这是未去重的)
df5=pd.crosstab(data_major_re['年份'],data_major_re['专业'])
df5
Out[96]:
In [97]:
# 计算每年专业大类分布数据
df5['社科比例'] = df5['专业：社科'] / (df5['专业：理工'] + df5['专业：医科'] + df5['专业：社科'] + df5['专业：农科'] + df5['专业：人文'])
df5['人文比例'] = df5['专业：人文'] / (df5['专业：理工'] + df5['专业：医科'] + df5['专业：社科'] + df5['专业：农科'] + df5['专业：人文'])
df5['理工农医比例'] = (df5['专业：理工'] + df5['专业：医科'] + df5['专业：农科'])/ (df5['专业：理工'] + df5['专业：医科'] + df5['专业：社科'] + df5['专业：农科'] + df5['专业：人文'])
print(df5[['社科比例','人文比例','理工农医比例']])
年龄情况的图标绘制
In [120]:
fig_q2=plt.figure(figsize=(12,8))
ax1=fig_q2.add_subplot(2,3,1)
ax2=fig_q2.add_subplot(2,3,2)
ax3=fig_q2.add_subplot(2,3,3)
ax4=fig_q2.add_subplot(2,3,4)
ax5=fig_q2.add_subplot(2,3,5)
ax6=fig_q2.add_subplot(2,3,6)
#亿创建的图标划分成2*3#的表格矩阵
ax1.hist(df1,bins=11,color='gray',alpha=0.9)
ax1.set_title('整体年龄分布')
ax1.grid(True)
ax2.plot(df2,color='r',marker='o',alpha=0.9)
ax2.set_title('入职年龄分布')
ax2.set_xticks(range(2000,2011,2))
ax2.grid(True)
ax3.plot(df3,color='g',marker='o',alpha=0.9)
ax3.set_title('卸任年龄分布')
ax3.set_xticks(range(2000,2011,2))
ax3.grid(True)
ax4.bar(range(len(df4)),df4,color='y')
ax4.set_xticklabels(['人文','农科','医科','理工','社科'])
ax4.grid(True)
ax4.set_title('专业结构')
ax5.plot(df5.index,df5[['专业：人文','专业：农科','专业：医科','专业：理工','专业：社科']])
ax5.grid(True)
ax5.set_title('专业整体情况')
ax6.bar(df5.index,df5['社科比例'],color = 'darkred',alpha=0.7)
ax6.bar(df5.index,df5['人文比例'],color = 'darkred',bottom = df5['社科比例'],alpha=0.5)
ax6.bar(df5.index,df5['理工农医比例'],color = 'darkred',bottom = df5['人文比例'] + df5['社科比例'],alpha=0.3)
ax6.grid(True)
ax6.set_title('专业大类分布：社科、人文、理工农医')
plt.show()
任期
In [128]:
#出生年份与任期的关系
# 新建变量data_term，赋值包括年份、姓名、出生年份字段内容
# 清除缺失值
data_term=data[['年份','党委书记姓名','出生年份']]
data_term_re=data_term[data_term['出生年份'].notnull()]
data_term_re.head()
Out[128]:
In [129]:
year_max = data_term_re[['出生年份','年份']].groupby(data_term_re['党委书记姓名']).max()
year_max.rename(columns={'年份':'年份max'}, inplace = True)
year_max['姓名'] = year_max.index
# 统计每个党委书记任期年份最大值，且更改列明
# 将index提取出字段内容
In [130]:
year_min = data_term_re[['出生年份','年份']].groupby(data_term_re['党委书记姓名']).min()
year_min.rename(columns={'年份':'年份min'}, inplace = True)
year_min['姓名'] = year_min.index
# 统计每个党委书记任期年份最小值，且更改列明
# 将index提取出字段内容
In [131]:
data_term_fin = pd.merge(year_max,year_min)
print(data_term_fin.head())
print(data_term_fin.dtypes)
# 合并表格，默认重叠重复列明
# .dtypes查看字段类型 → 年份均为int
In [132]:
data_term_fin['任期'] = data_term_fin['年份max'] - data_term_fin['年份min']
print(data_term_fin.head())
# 计算任期
In [133]:
# 绘制图表1：任期与出生年份关系
fig_q3_1 = plt.figure(figsize = (8,4))
# 创建一个图表，大小为8*4
plt.scatter(data_term_fin['出生年份'],data_term_fin['任期'],color = 'black', alpha=0.2, s = 10)
plt.title('任期与出生年份关系')
plt.xlabel('出身年份')
plt.ylabel('任期（年）')
plt.grid(True)
plt.show()
# 创建散点图，aplha代表透明度 → 点颜色叠加，s代表点大小，
# 参数添加，grid添加网格
# plt.show()：显示图表
In [135]:
# 绘制图表2：任期与出生年份关系 - 热图
fig_q3_2 = plt.figure(figsize = (8,4))
# 创建一个图表，大小为8*4
df = pd.crosstab(data_term_fin['任期'], data_term_fin['出生年份'])
print(df.head())
print('----------')
# 整合数据
ax = fig_q3_2.add_subplot(111)
cax = ax.pcolor(df, cmap='Blues')
#cax = ax.matshow(df, cmap='Blues_r')
fig_q3_2.colorbar(cax)
plt.title('任期与出生年份关系 - 热图\n')
ax.set_xticklabels(data_term_fin['出生年份'].tolist())
plt.show()
# 创建热图，横坐标为出生年份，纵坐标为任期，
In [ ]:
