数据健康管理总结

一、使用随机森林对系统参数进行故障诊断

1、模型选择

sklearn的随机森林+多输出结果模型

model = MultiOutputClassifier(RandomForestClassifier())

 

2、模型类型

属于分类模型，即判断系统的n个参数是否正确，或是否属于特定的类型。

举例：如参数是否属于正常的范围0~100之内，或者参数属于状态【正常、警告、故障】中的哪一状态

 

3、模型建立过程

提供系统n个参数的拟合数据=参数取值数据+结果标签数据，不能欠拟合和过拟合的数据，否则诊断结果可能出现误诊的情况。

举例：一个系统有3个参数温度a、整机状态b、传感器状态c，参数定义如下

温度a取值20~30正常、低于20和高于30异常；  # 20~30、小于20、大于20为参数取值数据，正常、异常是结果标签数据
整机状态b取值0为正常、1为异常；           # 0、1为参数取值数据，正常、异常为结果标签数据 
传感器状态c取值0为正常、1为警告、2为故障   # 0、1、2为参数取值数据，正常、警告、故障为结果标签数据

拟合数据和结果标签数据：

参数取值数据	结果标签数据
[25, 0, 0]	[正常, 正常, 正常]
[30, 1, 0]	[异常, 异常, 正常]
[25, 0 , 2]	[正常, 正常, 故障
...	...

这样的数据需要足够多，如产生10万条数据，能将实际可能产生的数据都囊括完。产生了拟合数据之后，将数据输入给模型即可完成建模。

注意：产生数据的原则就是数据不要出现欠拟合和过拟合的情况。

欠拟合数据：

只产生了100条数据，不能囊括所有情况；特征数据太少，如一个系统本应由10个参数决定状态，这里只有3个参数。【通过增加数据和特征值解决】

过拟合数据：

产生的数据有错误，如把温度取值100当做了正常；特征值过多，如一个系统本应由2个参数决定状态，这里有3个【通过增加正确数据，减少噪声（多余的特征值）解决】

 

4、参数诊断及定位

通过输入真实参数取值到模型，模型即可输出对应的标签。如

输入:[25, 0, 0]

模型输出:[正常, 正常, 正常]

 

5、关于迭代

如有一天因为环境产生了变化，温度正常范围从20~30变成了25~35，重新生成拟合数据重新建模。可将新拟合数据追加到老拟合数据来建模【理论上这样不够正常，但貌似没有更好的方法，因为建模是需要大量时间、CPU资源的过程】

 

 

二、使用线性回归对系统参数进行故障诊断

1、模型选择

sklearn的线性回归

lr = LinearRegression()

2、其他和随机森林类似

模型类型、模型建立过程、参数诊断及定位和上面随机森林皆一致

3、不同之处

随机森林将大量的数据进行简单的分类，是1就是1，是2就是2，然后根据输入的真实数据，在模型中匹配最佳可能结果标签，然后输出最大概率的诊断结果

而线性回归认为，某一时刻的取值和历史的取值是有关系的，如下一时刻的取值可能和历史的100次取值相关，然后根据以前的取值来进行当前的诊断。

可根据实际情况选择不同模型。

 

 

三、时间序列分析之使用GM11&GM21完成对单参数的预测

1、模型选择

greytheory的gm11【gm21还未在实际项目中使用】

grey = GreyTheory()
gm11 = grey.gm11

 

2、模型类型

对单个参数的预测，单调性参数使用gm11，周期性参数使用gm21【随机性参数使用gm31】

如判断一个单调性参数1天后取值是多少。

 

3、模型建立过程

输入参数的n个等距历史取值，相邻参数的时间片为预测时间，如每隔1天取1个参数取值，共取1000次，那么gm11最后的输出结果为：预测最后一个数据之后一天的取值。

举例：

某个单调增的参数，如一个城市的人口数，从今天器往前每隔1天取1次数，取1000次：

时间	人口数
第一天	1000000
第二天	1000100
...	...

如果取值越多、间隔越小，预测结果越准确。

 

4、参数预测

输入：今天之前每隔1天取值，共1000次取值

模型输出：今天作为起点，1天之后的人口数预测

 

5、关于迭代

无法迭代，gm11是属于数学公式计算，需要每次输入多个历史取值，根据历史取值推测数下一个取值。

 

 

四、结合正态分布对数据的分析

1、参数对象

具备正态分布取值的数据。一般项目中大多数数据都属于正态分布，参数取值一般有个正常的取值范围A~B，而往往这个参数不会真正取值到A~B，而是集中在这个范围的更小一个范围。如一个器件的额定电压为220V，由于自带过压、欠压保护，即使电压上下浮动20V，也可让器件正常运行，一旦超过20V便可能损坏。而在实际运行中，如果每隔1s对输入电压采样，共采1万次【足够大】，可以发现取值往往在额定电压220V上下2~5V波动【举例，可能更小或更大】，故我们可以认为取值220V的概率更大，随着取值离220V越大，概率越小，也就是正态分布【简单的描述：正态分布就是概率与取值呈现单峰的参数，项目中可以假设一切范围取值类参数都呈正态分布，布尔、枚举类肯定不是】。

2、随机分布和正态分布图例

随机分布认为采样的数据中，200V~240V中任一电压和其他电压出现的频率一致【即概率大致相同】；正态分布认为有一个电压出现频率最高，然后频率向两边取值逐渐降低。

随机分布

正态分布

3、作用

正态分布与其相关的数学参数，是对参数实际情况的描述，输出对参数的分析结果，而非上文的诊断、预测。

4、参数描述

可直接输出参数的均值、峰值【众数】、中位数、方差、标准差、置信区间【带宽】、异常值等参数，即可一定程度上描述此参数对应时间内的一个走向。

 

注意：由于参数取值往往是float型的，如果阈值范围较大，建议转化为int类型来处理，否则众数、中位数的结果可能出现问题。如参数范围是100.0~200.0，参数大概率取值范围是150~160，这个区间被取了1000次，由于float类型，可能导致150~160之间分成了很多份，使这个区间的同一数据被取得的次数较少；由于意外100~120之间有个数是110被取到了10次，故众数可能从150~160变成了110。

5、模型选择

numpy【用于数据生成、数据分析】、scipy【判断是否属于正态分布、数据分析】

五、使用梯度下降对系统整机进行故障诊断

1、模型选择

sklearn的SGD模型

model = SGDClassifier(shuffle=True, loss='log')

SGD可在线迭代，可是不能多参数输出

 

2、模型类型

属于分类模型，即判断系统的n个参数是否正确，或是否属于特定的类型。

举例：如参数是否属于正常的范围0~100之内，或者参数属于状态【正常、警告、故障】中的哪一状态

 

3、模型建立过程

提供系统n个参数的拟合数据=参数取值数据+结果标签数据，不能欠拟合和过拟合的数据，否则诊断结果可能出现误诊的情况。

举例：一个系统有3个参数温度a、整机状态b、传感器状态c，参数定义如下

温度a取值20~30正常、低于20和高于30异常；  
整机状态b取值0为正常、1为异常；           
传感器状态c取值0为正常、1为警告、2为故障  

此模型只能有一个标签，故定义：只要有一个参数异常，则认为系统整机异常【0为正常，1为异常】

拟合数据和结果标签数据：

参数取值数据	结果标签数据
[25, 0, 0]	[0]
[30, 1, 0]	[1]
[25, 0 , 2]	[1]
...	...

这样的数据需要足够多，如产生10万条数据，能将实际可能产生的数据都囊括完。产生了拟合数据之后，将数据输入给模型即可完成建模。

注意：产生数据的原则就是数据不要出现欠拟合和过拟合的情况。

欠拟合数据：

只产生了100条数据，不能囊括所有情况；特征数据太少，如一个系统本应由10个参数决定状态，这里只有3个参数。【通过增加数据和特征值解决】

过拟合数据：

产生的数据有错误，如把温度取值100当做了正常；特征值过多，如一个系统本应由2个参数决定状态，这里有3个【通过增加正确数据，减少噪声（多余的特征值）解决】

 

4、参数诊断及定位

通过输入真实参数取值到模型，模型即可输出对应的标签。如

输入:[25, 0, 0]

模型输出:[0]

 

5、关于迭代

使用partial_fit即可完成自我学习。

 

 

六、时间序列分析之使用指数平滑对单个参数预测

1、无明显单调或周期变化的参数

 

 

 2、单调变化的参数

 

 3、周期变化的参数

 

 

 

七、判断多个或单个特征参数对另一参数的影响

 如海拔、人口、气温对房价的影响

建议使用线性回归