走出数据挖掘的误区（转载）

来源:数据挖掘与数据分析

作者:邓凯 围观:1054 次 

原文链接：http://www.itongji.cn/column/betterdata/040bH2012.html

数据挖掘是从数据集中识别出有效的、新颖的、潜在并有用的、最终可理解的模式的非平凡过程。它综合使用统计分析、数据仓库、人工智能、信息科学等多个学科的技术，从海量的客户数据中找出传统经营分析方法难以洞察的客户行为模式，给出客户的详细描述，并可以有效预测客户的行为倾向。目前，数据挖掘在电信运营企业中的应用越来越广。但随着应用的深入，偏差和误区也频繁出现，包括操作、流程、思路、方法、工具等。笔者试图从经典的数据挖掘理论和电信企业数据挖掘实践出发，找出常见的一些技术和业务问题，并给出避免或者解决这些问题的方法。  

◆数据挖掘万能论：身边的永动机

我们身边有永动机么？没有，但是如果这样讲：“数据挖掘是万能的，它可以计算出你想要的任何东西，只要有数据。”——这句话就是永动机的理论。在数据挖掘的经典理论中，模式并非一定存在，模式不明显到与随机分布差不多的时候，就根本没有模式。翻译成电信语言就是：如果流失客户在系统中的数据与未流失客户的特征没有任何差别，那么流失是不可预测的。避免这类错误的方法只有一个：了解数据挖掘的经典理论和基本概念。

◆命中率神话：揭开效果之谜

用分类技术（决策树、神经网络）作流失预测的时候，很多工程师会跟甲方承诺一个命中率。命中率的概念是工程师给出的流失客户的名单中下个月真正流失客户的占比。这个值好像越高越好，其实不然。这是因为数据挖掘软件作的预测实际上是一种概率的判决，必然存在错误的判断。精确的说法应该是在一定比例内的命中率。比如本地网有10万个客户，则3000人名单的准确率、5000人名单的准确率、1万人名单的准确率的说法才是科学的。企业需要实事求是，根据自己的业务需求确定一个综合考虑覆盖率的准确率期望。

◆软件工具必须买：造中国自己的原子弹

有些企业经理认为，软件工具必须购买大公司开发的，其复杂、专业、有权威的示范性。但它是否适应企业或者适应研究的业务并不在经理们重点考虑的范围内。如果我们经常穿梭于专业的数据挖掘工作组，就会发现真正的高手是不使用商业数据挖掘软件的，即使使用，也用SASEM这样的可以写代码的软件。他们的工作方法是：探索数据、找合适的算法、简单编码实现、跑数据和写报告，因为应用的层次深化和效果提升才是最重要的。中国可以造自己的原子弹，运营商呢？

◆工程师的水平标杆：智慧库与会说话的工具

企业招聘数据挖掘工程师时，应聘者众多，有人自称从事数据挖掘工作已20年，但事实上，国内人士研究数据挖掘才不过十年。很多人认为统计也是数据挖掘，那么，如何去衡量数据挖掘工程师的真实实力与水平呢？第一，看他理论基础。第二，看他掌握方法。没有足够的数学模型能力、统计分析能力、逻辑分析能力的工程师是不合格的。第三，看他创新能力。一句话，好的数据挖掘工程师是可以依靠的智慧库，不那么优秀的数据挖掘工程师只是会说话的工具。

◆模型不用更新：流水不腐，户枢不蠹

有人说，模型做好了就不用更新了。中国古谚“流水不腐，户枢不蠹”，用在数据挖掘上再合适不过。客户是流动的、业务是变化的、政策是滚动的、对手是狡猾的、经济是波动的，那么模型是固定的吗？不是，一系列的变化使得客户的行为模式发生变化，模型也要适时更新，否则商机若失，必成庸碌之辈。

◆算法都一样：西装穿球鞋

有不少仅仅懂得数据挖掘技术皮毛的人会大手一挥：算法都是一样的，不就是聚个类、预个测吗？我们都知道穿西装是不可以穿球鞋的，因为不匹配，在数据挖掘实践中，算法是死板的，没有一种算法可以一统江湖，算法的适用性非常重要，对噪声点多而且多为奇异点的数据，最好不用K－means这样的算法，而要采用DBSCAN；反之遇到数据为球状簇分布而且呈哑铃状的粘连簇，K－means的表现要远好于DBSCAN。

◆数据挖掘就是软件：脑指挥手还是手指挥脑

有人可能说，数据挖掘不就是一个软件吗？管理科学一直是先进技术与理念的最佳试验场，从ERP、MRPII、OLAP、CRM（客户关系管理）到DM（数据挖掘），我们都会有这样一个经验，管理不是一个软件，系统更不仅仅是一个软件。上了CRM软件不见得就搞好了客户关系，数据挖掘软件一装，模型一跑，也并不是一个真正的数据挖掘系统。软件工具是手，而工程师是大脑，我们需要的是智慧的人脑指挥能干的手，而不是不动脑地动手或者手指挥脑。数据挖掘软件的战斗力体现在使用者的智慧上。

◆会统计就会挖掘：老虎不会上树

有人说，统计很牛，挖掘就很牛。首先，我们承认统计学与数据挖掘存在较为密切的关系。但是两者并无特别联系，在数据挖掘的各个发展阶段，只有一个子方向的开拓可以算在统计学的功劳上，那就是贝叶斯网络。我们希望统计回归本位，既不托得太高，也不能看得太低：数据挖掘工程师都是具有统计分析能力的，统计分析是数据挖掘的基础能力和基本步骤之一。猫和老虎长得真像，可是老虎不会上树啊。

◆业务重于挖掘结果：用人莫疑，疑人莫用

有这样的本地网，挖掘结果出来以后，与业务经验有些偏差，比如在模式的理解上有矛盾，业务人员认为结果不对，仍然按照业务经验修订结果。

俗语云：用人莫疑，疑人莫用。既然花了成本做了数据挖掘，就要尊重客观的挖掘结果，如果与业务经验矛盾，需要检查挖掘的各个步骤，找出问题在哪里；如果没有问题，那么就是过去的业务理解错了，敢于面对现实，纠正以往的偏差，不失为一种风度和智慧。

◆数据挖掘没有用：淮南淮北，橘枳相异

有的本地网做完了数据挖掘项目，发现效果不好，于是得出结论：数据挖掘没有用。其实，橘生淮南则为橘，生淮北则为枳。一水之隔，本质区别，如同考试的时候59分与60分就差1分，但是两种结果。数据挖掘的成功需要很多条件，缺一不可：第一，良好的数据环境；第二，优秀的工程师；第三，适应目标数据集的软件工具；第四，分析目标数据集存在可被挖掘的非随机的模式信息。解决数据挖掘有效性问题的方法就是检查数据挖掘的各个步骤。