数据特征分析
1 分布分析
1 极差 写个函数就行
def d_range(df,*args)
2 定量用直方图
1）直接用plot.hist(）
2）s = pd.cut()
return indices of half-open bins to which each value of `x` belongs. 这个方法感觉 就在手动绘制直方图会用到，可能以后类似相关的也会用到
s_count = s.value_counts()
s_count_df = pd.DataFrame(s_count)
s_count_df['频率'] / [ ' 累计频率'] / [ ' 累计频数 ']
s_count_df[''].bar
3 定性 用饼图
2 对比分析
1 绝对数比较（相减），用得相对较少
用到的知识点是 1）子图 fig = plt.figure ax = fig.add_subplot(2,1,1)
2) 条形图 plt.bar(x,y) x横坐标，y对应的值
3) plt.xticks ax.set_xticklabels 因为plt.bar 横坐标x 只是0-50 这样的序列
# （3）柱状图堆叠图+差值折线图比较 fig3 = plt.figure(figsize=(10,6)) plt.subplots_adjust(hspace=0.3) # 创建子图及间隔设置 ax1 = fig3.add_subplot(2,1,1) x = range(len(data)) y1 = data['A_sale'] y2 = -data['B_sale'] plt.bar(x,y1,width = 1,facecolor = 'yellowgreen') plt.bar(x,y2,width = 1,facecolor = 'lightskyblue') plt.title('AB产品销量对比-堆叠图') plt.grid() plt.xticks(range(0,30,6)) ax1.set_xticklabels(data.index[::6]) # 创建堆叠图 ax2 = fig3.add_subplot(2,1,2) y3 = data['A_sale']-data['B_sale'] plt.plot(x,y3,'--go') plt.axhline(0,hold=None,color='r',linestyle="--",alpha=0.8) # 添加y轴参考线 plt.grid() plt.title('AB产品销量对比-差值折线') plt.xticks(range(0,30,6)) ax2.set_xticklabels(data.index[::6]) # 创建差值折线图
2 相对数比较 （相除），用的较多
1）结构分析
# 在分组基础上，各组总量指标与总体的总量指标对比，计算出各组数量在总量中所占比重
# 反映总体的内部结构
2）比例分析
# 在分组的基础上，将总体不同部分的指标数值进行对比，其相对指标一般称为“比例相对数”
# 比例相对数 = 总体中某一部分数值 / 总体中另一部分数值 → “基本建设投资额中工业、农业、教育投资的比例”、“男女比例”...
在这里用到了 s.plot.area(ylim=[ ])
3）空间比较分析(横向对比分析，抽象的空间概念)
# 同类现象在同一时间不同空间的指标数值进行对比，反应同类现象在不同空间上的差异程度和现象发展不平衡的状况
# 空间比较相对数 = 甲空间某一现象的数值 / 乙空间同类现象的数值
# 一个很现实的例子 → 绝对数来看，我国多经济总量世界第一，但从人均水平来看是另一回事
4）动态对比分析
# 同一现象在不同时间上的指标数值进行对比，反应现象的数量随着时间推移而发展变动的程度及趋势
# 最基本方法，计算动态相对数 → 发展速度
# 动态相对数（发展速度） = 某一现象的报告期数值 / 同一现象的基期数值
# 基期：用来比较的基础时期
# 报告期：所要研究的时期，又称计算期
data = pd.DataFrame({'A':np.random.rand(30)*2000+1000},
index = pd.period_range('20170601','20170630'))
print(data.head())
print('------')
# 创建数据 → 30天内A产品的销售情况
data['base'] = 1000 # 假设基期销售额为1000，后面每一天都为计算期
data['l_growth'] = data['A'] - data['base'] # 累计增长量 = 报告期水平 - 固定基期水平
data['z_growth'] = data['A'] - data.shift(1)['A'] # 逐期增长量 = 报告期水平 - 报告期前一期水平
data[data.isnull()] = 0 # 替换缺失值
data[['l_growth','z_growth']].plot(figsize = (10,4),style = '--.',alpha = 0.8)
plt.axhline(0,hold=None,color='r',linestyle="--",alpha=0.8) # 添加y轴参考线
plt.legend(loc = 'lower left')
plt.grid()
# 通过折线图查看增长量情况
data['lspeed'] = data['l_growth'] / 1000 # 定基增长速度
data['zspeed'] = data['z_growth'] / data.shift(1)['A'] # 环比增长速度
data[['lspeed','zspeed']].plot(figsize = (10,4),style = '--.',alpha = 0.8)
plt.axhline(0,hold=None,color='r',linestyle="--",alpha=0.8) # 添加y轴参考线
plt.grid()
print(data.head())
print('------')
# 通过折线图查看发展速度
https://wiki.mbalib.com/wiki/%E7%B4%AF%E8%AE%A1%E5%A2%9E%E9%95%BF%E9%87%8F
https://wiki.mbalib.com/wiki/%E5%AE%9A%E5%9F%BA%E5%A2%9E%E9%95%BF%E9%80%9F%E5%BA%A6
3 统计分析
统计指标对定量数据进行统计描述，常从集中趋势和离中趋势两个方面进行分析
1 集中趋势
1）算术平均数
1）简答平均数 mean()
2）加权平均数
2）位置平均数
1)众数 mode()
2)中位数 median()
2 离中趋势
1）方差 var() 与 标准差 std() describe().loc['std']
2）极差 与 四分位差 （iqr）--> 箱型图 box
4 帕累托分析 二八法则
思路：将值从大到小排序，算占比的cumsum。
用到的方法：series.plt(secondary_y=True)。注意，这里series，的索引不能是数字，用英文字母都可以。
plt.axvline()
plt.text
5 正态性检验
1 描述统计方法
1）直方图 hist 密度图 kde ，可以在同一张表内显示。直接看图的形状。
data['a'].hist(bins=100) data['a'].plot(kind='kde',secondary_y=True)
2）Q-Q图
# QQ图判断 # QQ图通过把测试样本数据的分位数与已知分布相比较，从而来检验数据的分布情况 # QQ图是一种散点图，对应于正态分布的QQ图，就是由标准正态分布的分位数为横坐标，样本值为纵坐标的散点图 # 参考直线：四分之一分位点和四分之三分位点这两点确定，看散点是否落在这条线的附近 # 绘制思路 # ① 在做好数据清洗后，对数据进行排序（次序统计量：x(1)<x(2)<....<x(n)） # ② 排序后，计算出每个数据对应的百分位p{i}，即第i个数据x(i)为p(i)分位数，其中p(i)=(i-0.5)/n （pi有多重算法，这里以最常用方法为主） # ③ 绘制直方图 + qq图，直方图作为参考
2 统计检验方法
1）K-S检验
# 直接用算法做KS检验 from scipy import stats # scipy包是一个高级的科学计算库，它和Numpy联系很密切，Scipy一般都是操控Numpy数组来进行科学计算 data = [87,77,92,68,80,78,84,77,81,80,80,77,92,86, 76,80,81,75,77,72,81,72,84,86,80,68,77,87, 76,77,78,92,75,80,78] # 样本数据，35位健康男性在未进食之前的血糖浓度 df = pd.DataFrame(data, columns =['value']) u = df['value'].mean() # 计算均值 std = df['value'].std() # 计算标准差 stats.kstest(df['value'], 'norm', (u, std)) # .kstest方法：KS检验，参数分别是：待检验的数据，检验方法（这里设置成norm正态分布），均值与标准差 # 结果返回两个值：statistic → D值，pvalue → P值 # p值大于0.05，为正态分布
6 相关性分析
1）图示初判，散点图，散点矩阵
2) 正态性 --> pearson Series/DataFrame.corr方法
3) 非正态性 --> spearman Series/DataFrame.corr方法
