时间序列数据如何插补缺失值?
1、就近插补:前推法LOCF, 替换为缺失之前的最后一次观测值,与后推法NOCB, 使用缺失值后面的观测值进行填补。这个是时序当中最基本的方法,当然还有用Baseline Observaton, 或者啥Worst observation,目前生科实验好像有用。
2、线性插值:这个也是历史悠久方法, 假定时序之间变动有很强的趋势。早期天文学缺失数据都用这个方法。
3、季节性+线性插值: 经济数据或者季节波动数据,采用这样的方法。同时具备季节性和总体趋势性,很多季节、气候变动相关数据都可以。
4、均值中位数众数,没有考虑时序因素。但是假如你认为时序数据里面基本没有很强趋势,也是可以的。当然里面也还有 比如Conditional Mean这样改进方法。
5、多值插补/机器学习: Multiple Imputation , Expectation-Maximization , Nearest Neighbor ,和 Hot Deck 方法,这些方法都依赖于缺失数据不同属性间关系,寻找最类似样本。如果使用R的话,mice, VIM, AMELIA等都可以用来插补,但是这个必须是多变量时序。如果单变量时序,无法找不同属性关联,用ImputeTS, 然后zoo, 或者forecast。
6、当然还要区别分类还是数值,如果类别变量,NA直接可以划分新分类。
除了这些统计方法, 我想每个领域里面缺失值都肯定还要借鉴专业知识来判断。比如以国家军费缺失数据为例,如果你知道因为战乱带来的缺失。那么战时数据比和平年代数据就更合适,很简单就近填补。
然后插补不同学科可能都有默认或者建议的方法,比如社会学或者人口学无应答问卷数据,大量采用hotdeck,就是假定类似用户类似行为,US Census Bureau也在用。
气候数据,看到有的文章在研究气候变化时采用Expectation-Maximization algorithm,R里面mtsdi。见这篇文章 Imputation of missing data in time series for air pollutants。当然python的话里面也有很多。
最后,插补数据方法上如果你对数据生成机制很熟悉的情况下,可能一些简单方法就可以。对于本身纯粹依赖算法,不能给出解释机制的插补有疑虑。为什么说要增加专业知识判断,因为缺失本身表明这些样本信息不足, 专业知识判断就相当于额外增补信息。
链接:
https://www.zhihu.com/question/355799116/answer/1574303138
https://github.com/xinychen/transdim