非正态分布数据转换成正态分布

常用的变量变换方法有对数变换、平方根变换、倒数变换、平方根反正弦变换等,应根据资料性质选择适当的变量变换方法。

1. 对数变换

即将原始数据X的对数值作为新的分布数据:
X’=lgX
当原始数据中有小值及零时,亦可取X’=lg(X+1)
还可根据需要选用X’=lg(X+k)或X’=lg(k-X)


对数变换常用于

(1)使服从对数正态分布的数据正态化。如环境中某些污染物的分布,人体中某些微量元素的分布等,可用对数正态分布改善其正态性。

(2)使数据达到方差齐性,特别是各样本的标准差与均数成比例或变异系数CV接近于一个常数时。

 在numpy 中使用:

转换成符合正态分布的数据,log(price+1), 反转使用:np.expm1()

2.平方根变换


即将原始数据X的平方根作为新的分布数据。
X’=sqrt(X)


平方根变换常用于:

1)使服从Poission分布的计数资料或轻度偏态资料正态化,可用平方根变换使其正态化。

2)当各样本的方差与均数呈正相关时,可使资料达到方差齐性。

3.倒数变换


即将原始数据X的倒数作为新的分析数据。
X’=1/X


常用于资料两端波动较大的资料,可使极端值的影响减小。

4.平方根反正弦变换


即将原始数据X的平方根反正弦值做为新的分析数据。
X’=sin-1sqrt(X)


常用于服从二项分布的率或百分比的资料。一般认为等总体率较小如<30%时或较大(如>70%时),偏离正态较为明显,通过样本率的平方根反正弦变换,可使资料接近正态分布,达到方差齐性的要求。

发现没有,除了倒数转换,其他数据值都要求 y 值必须为正值,如果要使用负值呢?可以使用Box-Cox变换:

5.Box-Cox变换:

x=\left\{\begin{matrix}\frac{y^\lambda-1}{\lambda}---\lambda\neq 0 \\ log(y)---\lambda=0 \end{matrix}\right.

逆变换为:

y=\left\{\begin{matrix} (1+\lambda y)^{\frac{1}{\lambda}}---\lambda\neq 0 \\ exp(x)---\lambda=0 \end{matrix}\right.

2.当y 可以小于 0 时:

Box-Cox变换:

x=\left\{\begin{matrix} \frac{(y+c)^\lambda-1}{\lambda g}---\lambda\neq 0 \\ \frac{log(y+c)}{g}---\lambda=0 \end{matrix}\right.   g 默认为 1

逆变换为:

y=\left\{\begin{matrix} (1+\lambda y)^{\frac{1}{\lambda}}-c---\lambda\neq 0 \\ exp(x)-c---\lambda=0 \end{matrix}\right.


 

posted @ 2020-04-23 15:55  蜘蛛侠不会飞  阅读(2564)  评论(0编辑  收藏  举报

俺的博客

https://blog.csdn.net/qq_40587575

俺的公众号