数据分析

1、数据质量分析

脏数据：缺失值、异常值、不一致的值、重复数据及含有特殊符号的数据

缺失值处理

产生原因

1、信息无法获取或者获取代价大

2、信息因个人原因或客观原因被遗漏

3、根据实际而言，属性值不存在

影响

1、丢失大量有用信息

2、不确定性更加显著，难以把握规律

3、不可靠输出

分析

1、含有缺失值的属性的个数

2、每个属性的未缺失数、缺失数、缺失率

处理

1、删除存在缺失值的记录

2、对可能值进行插补

1）均值/中位数/众数插补

2）使用某个常数插补

3）最近邻插补，采用距缺失样本最近的样本值。

4）回归拟合，预测缺失的属性值

5）插值法，利用已知点建立插值函数，缺失值由插值函数对应点上的值近似代替。

3、不处理

异常值处理

异常值是指样本中的个别值，数值明显偏离其余的观测值，也称离群点。

分析

1、描述性统计，比如最大值、最小值，看那些数据取值超出合理范围

2、3σ原则

       当数据服从正态分布，在该原则下，异常值被定义为一组测定值中与平均值的偏差超过3倍标准差的值。在正态分布的假设下，数据位于距平均值超过3σ的概率为 ,属于小概率事件。

3、箱型图（箱线图）分析

异常值被定义为小于Q_L-1.5IQR或大于Q_U+1.5IQR的值。Q_L为下四分位数，表示有四分之一的数比其小；Q_U为上四分位数，表示全部数据中有四分之一的数值比其大；IQR为四分位数间距，IQR=Q_U-Q_L。

处理

1、删除含有异常值的记录

2、视为缺失值进行处理

3、采用前后两个观测值的平均值修正

4、不处理

一致性处理

数据不一致性是指数据的矛盾性、不相容性。

导致数据不一致通常在数据集成的过程中，对不同的数据源的重复存放的数据未能进行一致性更新导致的。

2、数据特征分析

1、分布分析

定量数据

主要采用频率分布直方图。

1、求极差

2、决定组距与组数

3、决定分点

4、列出频率分布表，绘制频率分布直方图

定性数据

常采用饼图或条形图描述。

2、对比分析

1、绝对数比较

2、相对数比较

       是由两个有联系的指标对比计算的。

       1、结构相对数：部分数值占总体数值的比重，比如食品支出占消费总额比重、产品合格率

       2、比例相对数：部分之间对比，如人口性别比例，投资与消费比例

       3、比较相对数：同一时期两个性质相同的指标进行对比，说明同类现象在不同空间条件下的数量对比。如不同地区商品价格对比等..

       4、强度相对数：将两个性质不同但有一定联系的总量指标对比，说明现象的强度、密度、普遍程度等。如人均国内生产总值、人口密度、人口出生率。

       5、计划完成程度相对数：某一时期实际完成数与计划数的对比。

       6、动态相对数：同一现象在不同时期的指标数值进行对比，说明发展方向和变化速度。

3、统计量分析

1、集中趋势

1）均值

       平均值：

       加权平均：

       截断均值：去掉高、低极端值之后的平均值。

2）中位数

3）众数

 

2、离中趋势

1）极差

       极差=最大值-最小值

2）标准差

       标准差度量数据偏离均值的程度：

3）变异系数

       变异系数度量标准差相对于均值的离中趋势：

4)四分位数间距：

4、周期性分析

常通过绘制曲线图来分析

5、贡献度分析

贡献度分析又称帕累托分析，原理为帕累托法则，有成20/80定律。例如，对一个公司而言，80%的利润常常来自于20%最畅销的商品，而其他80%的商品只产生20%的利润。

常通过绘制帕累托图分析。

6、相关性分析

1、绘制两个变量的散点图

2、多变量时，绘制散点图矩阵。

3、计算相关系数

1）Pearson相关系数

一般用于分析两个连续性变量之间的关系，要求连续变量取值服从正态分布：

r的取值范围为：-1≤r≤1:

需要进行假设检验，可采用t检验方法检验显著性水平以确定相关程度。

2）Spearman秩相关系数

         也称为等级相关系数：

先对x、y分别从小到大排序，求x_i、y_i的秩次R_i、Q_i 。注意一个变量相同取值要有相同的秩次。

当两个变量具有严格单调的函数关系，则一定完全Spearman相关。

需要进行假设检验，可采用t检验方法检验显著性水平以确定相关程度。

3）判定系数

         判定系数为相关系数的平方，用 表示。用以衡量回归方程对y的解释程度。 越接近1，表明x与y之间的相关性越强。

 

3、数据集成

1、实体识别

主要任务是统一不同源数据的矛盾。

1）同名异义

数据源A中的属性ID和数据源B中的属性ID分别描述的是菜品编号和订单编号，即描述的是不同的实体。

2）异名同义

A.sales_dt=B.sales_date。

3）单位不统一

比如分别用国际单位和中国传统的计量单位。

2、冗余属性识别

1）同一属性多次出现。

2）同一属性命名不一致导致重复。