Python数据分析工具
一、Python数据分析工具
二、数据探索
一、 对数据的质量分析
异常值的分析:
- 简单的统计量分析:查看最大最小值是否在合理范围
2.3δ原则,在正态分布下异常值被定义为一组定值与平均值的距离超过3倍的标准差。
3.箱形图分析:
异常值被定义为小于QL-1.5IQR 或大于QR+1.5IQR
QL是所有数据的下四分位,QR是所有数据的上四分位。IQR是QR-QL
DataFrame中describe()已经给出了基本的统计
二、 数据特征分析
- 可以使用pandas、matplotlib绘制统计图
散点图矩阵可以分析每两个变量的关系。
2 .计算相关系数
①Pearson相关系数
②Spearman秩相关系数
③判定系数
使用pandas的corr()计算相关系数
绘制条形图和折线图 :
三、数据预处理
缺失 :
![](https://img-blog.csdnimg.cn/20190417165230662.png?x-oss-
process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1X2x1bg==,size_16,color_FFFFFF,t_70)
插值法主要用两类:
拉格朗插值(python scipy库中有)、牛顿插值。
数据变换 :
使用简单的函数如:x'=x^2 x'=sqrt(x) x'=log(x)
规范化 :
①最小最大规范化
②零-均值规范化:将数据处理成均值为0,标准差为1
③小数定标规范化
连续属性离散化
数据规约 :产生更小保持原数据完整性的新数据集。
主要方法有合并属性、决策树归纳、主成分分析
数值规约 :????
![](https://img-blog.csdnimg.cn/20190417171314588.png?x-oss-
process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1X2x1bg==,size_16,color_FFFFFF,t_70)
四、挖掘建模
1、分类 预测
2、聚类分析