数据预处理

合集 - 数学建模算法(27)

1.整数规划2024-07-072.非线性规划2024-10-113.非线性规划之飞行管理问题2024-10-114.遗传算法与直接搜索2024-10-115.图论基础：最小路径问题2024-07-076.网络最大流量问题2024-07-077.最小费用最大流问题2024-07-058.旅行商（TSP）问题2024-07-059.微分方程模型2024-07-09

10.数据预处理2024-10-11

11.插值方法2024-07-0612.拟合算法2024-07-0813.数据初始化2024-10-1114.层次分析法2024-07-1315.模糊综合评价2024-07-1416.CRITIC指标客观赋权方法2024-10-1117.Topsis评价法2024-10-1118.熵权法2024-10-1119.灰色关联度分析2024-10-1120.聚类分析2024-10-1121.主成分分析2024-10-1122.因子分析2024-10-1123.判别分析2024-10-1124.典型相关分析2024-10-1125.对应分析2024-10-1126.多维标度法2024-10-1127.亮度变化与空间滤波2024-10-11

收起

数据清理

缺失值处理

常见方法分为三类：数据删除，数据插补，不处理

1. 数据插补：最为常见的是数据插补。

插补方法

取均值/中位数/众数插补

使用固定值（政府等发布的可信数值）

最近邻插补（根据相近数值取平均或者时间序列预测缺失数据）

回归分析（工作量大）

插值法（高端，可以使用）

1. 数据删除：删除即将含有缺失部分的数据整条删除。
2. 不处理：某些算法会将缺失值作为特征考虑

异常值处理

异常值确定方法：

1. 正态分布方法：平均值$\pm 3\sigma$范围内的是正常值

2. 箱型图法：确定上四分位数和下四分位数.

   $LetIQR=\mathrm{上}\mathrm{四}\mathrm{分}\mathrm{位}\mathrm{数}-\mathrm{下}\mathrm{四}\mathrm{分}\mathrm{位}\mathrm{数}$

   正常数据的范围是：$(\mathrm{下}\mathrm{四}\mathrm{分}\mathrm{位}\mathrm{数}-1.5\ast IQR,\mathrm{上}\mathrm{四}\mathrm{分}\mathrm{位}\mathrm{数}+1.5\ast IQR).$

   函数plotbox : 用箱线图可视化摘要统计量 - MATLAB boxplot - MathWorks 中国

主成分分析

主成分分析 (PCA) - MATLAB & Simulink - MathWorks 中国

1. 构建相关系数矩阵或协方差矩阵

   两个变量的协方差$cov(x,y)=\frac{\sum _{i=1}^n(x_i-\overline{x})(y_i-\overline{y})}{n-1}$

   协方差矩阵$C=\left[\begin{array}{cc}cov(x,x)& cov(x,y)\\ cov(x,y)& cov(y,y)\end{array}\right]$

2. 再求协方差矩阵的特征向量、特征值。

3. 每一个新变量就是用对应的特征向量乘旧变量构成的向量。

   例如对矩阵C，$Z_1=\overrightarrow{v}\cdot \overrightarrow{x}$ .

4. 得到了新变量后，可以按特征值占比大小给变量排序，让后累加取到>85%时的新变量，其它变量剔除，从而实现降维。

   每个特征向量特征值占比：$\frac{{\lambda }_i}{\sum \lambda }$

   如果，前三个新变量的占比总和>85%则就取前三个变量分析。

Matlab求特征值占比比例

data =  %数据读入
data = zscore(data);%数据标准化很重要
CorrCoefMatrix = corrcoef(data);%matlab自带函数计算相关系数矩阵，列表示随机变量，行表示观测值
[coeff latent explained] = pcacov(CorrCoefMatrix)
%coeff: 特征向量(注意与pca函数的变量score进行区分）.
%latent: 特征值.
%explained：每个特征值占比，字面上即每个特征值对系统有多少解释，用百分比表示。explained=100*latent/sum(latent);

主成分分析降维

如果数据的维数过高可以用主成分分析降维。

原始数据的主成分分析 - MATLAB pca - MathWorks 中国

data_1 = pca(data);

TSNE降维

data_1 = tsne(data,'NumDimensions','2');%TSNE降维