数据挖掘领域的十大挑战问题
数据挖掘(Data Mining,DM)又称数据库中的知识发现(Knowledge Discover in Database,KDD),是目前人工智能和数据库领域研究的热点问题,所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。数据挖掘是一种决策支持过程,它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等,高度自动化地分析企业的数据,做出归纳性的推理,从中挖掘出潜在的模式,帮助决策者调整市场策略,减少风险,做出正确的决策。
知识发现过程由以下三个阶段组成:(1)数据准备,(2)数据挖掘,(3)结果表达和解释。
数据挖掘是通过分析每个数据,从大量数据中寻找其规律的技术,主要有数据准备、规律寻找和规律表示3个步骤。数据准备是从相关的数据源中选取所需的数据并整合成用于数据挖掘的数据集;规律寻找是用某种方法将数据集所含的规律找出来;规律表示是尽可能以用户可理解的方式(如可视化)将找出的规律表示出来。
数据挖掘领域10大挑战性问题:
1.Developing a Unifying Theory of Data Mining ( 数据挖掘的统一理论框架的构建)
2.Scaling Up for High Dimensional Data/High Speed Streams (高维数据和高速数据流的挖掘)
3.Mining Sequence Data and Time Series Data (序列和时序数据的挖掘)
4.Mining Complex Knowledge from Complex Data (复杂数据中复杂知识的挖掘)
5.Data Mining in a Network Setting (网络环境中的数据挖掘)
6.Distributed Data Mining and Mining Multi-agent Data (分布式数据和多代理数据的挖掘)
7.Data Mining for Biological and Environmental Problems (生物和环境数据的挖掘)
8.Data-Mining-Process Related Problems ( 数据挖掘过程中的相关问题处理)
9.Security, Privacy and Data Integrity (数据挖掘中数据安全、数据所涉及到的隐私和数据完整性的维护)
10.Dealing with Non-static, Unbalanced and Cost-sensitive Data (非静态、非平衡及成本敏感数据的挖掘)