随机交换检验数据挖掘结果-assessing data mining result via swap randomization

转载自己的博客: 

http://blog.csdn.net/lgnlgn/article/details/5936945

     数据挖掘中一个重要的研究议题是确定发现的模式或模型是否显著。虽然传统统计方法已经早已用以进行显著性检验,但是在数据挖掘领域这一方法却没有得到足够的重视。在本文中提出采用随机交换来检验在0-1数据集上的数据挖掘结果。随机交换的基本思想是:给定一个数据集D,随机生成一批行间距(row margin)以及列间距(column margin)相同的数据集。在这些随机数据集上进行挖掘,看挖掘结果是否显著不同于在原数据集上的挖掘结果。如果不是,我们可以假设挖掘结果只是由于行间距及列间距的原因,而不是数据集中的有趣结构。

 

随机交换的思想简单的说就是看挖掘结果是不是由特定因素造成的,套个现实例子:一个女孩子对你很好,你可能会觉得很幸福,但其实你不知道是她对所有人都这样,还是对你才这样。如果是对所有人都会好的,那她对你好其实是例行公事,没有啥价值。 不要轻易就对一件事做一些定论,要多考察一下。

 

论文从各方面看都非常值得仔细阅读一遍。非常推崇!

posted @ 2012-03-24 22:42  梁喵  阅读(191)  评论(0编辑  收藏  举报