数据挖掘与商业智慧：华通二十年专题----台湾辅仁大学谢邦昌教授访谈（转载）

 转自：http://www.emarketing.net.cn/magazine/adetail.jsp?aid=2247

        从医疗到气象，再到金融，在谢邦昌看来，数据挖掘对于各个行业的重要性不言而喻，从数据挖掘衍生出的客户关系管理、风险分析等手法更是超乎想象。大数据时代，软硬件技术与统计方法上已经不存在障碍，关键是要解决什么问题。以云端为例，如果说它是数据挖掘的筋斗云，那么驾驭这座云的便是商务智能。其实所谓的商务智能并无玄机，它只不过是扎扎实实地在行业知识基础上进行的以解决问题为导向的数据整理与分析。人工智能缩短学习的过程，但是离不开人类智慧；数据挖掘依靠统计技术，但又远远超出统计的范畴。数据挖掘的最终目标是实现Data Value（数据价值），在这个过程中，严谨的数据整合，准确的问题与目标识别，深入的行业认知，缺一不可。 作为华通公司的首席统计顾问及人民大学等高校的客座教授 ，谢教授每个月都要从台湾来到大陆，源源不断地将学术界的技术和人才输入企业端。帮助企业成长的同时，他也实践着自己学以致用的理念，传播着学术分享的精神。

        Data Mining一直很重要：矗立在行业知识上的商务智能解决方案

       早在学生时代，谢教授就将统计知识与实践密切结合。在协助医院、企业处理数据的过程中他发现，“数据分析才是统计的真谛”，于是，在数据分析的道路上，他走得越来越远。1995年左右，刚刚开始接触数据挖掘，2001年就在台湾成立了中华资料采矿协会（繁体中文受微软影响将Data Mining译为资料采矿），正式从事数据挖掘工作。 谢教授举了一个台湾大哥大的案例。大哥大在接到客服电话后，会在几秒钟之内通过配套程序分析数据，识别出客户的级别。如果是VIP投诉，那么这条线马上会从接线员转到他的上级主管，针对客户的意见，上级有权利提出免费更换手机的补偿服务。大哥大的客户忠诚度正是因为这样一个基于统计或者说数据挖掘的客户关系管理流程而得到了有效的保障，这让谢教授对数据挖掘的重要性留下了深刻印象。 至于操作上如何实现数据挖掘，他认为首先还是要用到统计的抽样方法，以便迅速了解数据的Pattern（模式）。“这就像开发油矿一样，一定得先抽几个口，看看这里的油气值不值得开采。”接下来很重要的一点就是对资料感觉，要找到这种感觉，就要深入探寻资料之间的结构与关联性。在了解资料特性的过程中，Business Understanding（行业理解）和Data Understanding（数据理解）是关键，因为数据挖掘所面对的行业十分多变，“今天是医药、明天是汽车、金融。如果没有行业知识做基础，很有可能挖到了宝玉，还以为是一块石头。” 学习和应用行业知识的过程，甚至整个数据挖掘过程，其实就是智慧的形成和累积。“智慧，也就是所谓的商务智能。”过去的市场研究大多只能挖掘到当下的现象跟意识，却告诉不了人们未来的情况，这也是导致客户满意度降低的一个主要原因，“就好像调查了半天，最后得出结论：煤球是黑的。”但是大互联网时代不同了，它的发展可能在短短一个月内就颠覆传统模式，如果市场研究永远只能告诉客户这个是什么，或者过去什么，都是没有用的。只有利用商务智能，或MI（Market Insight，市场洞察），去挖掘根本性的东西，把握趋势，把握未来，才是对于客户来说最有价值的。 “数据挖掘就像卫星导航，技术虽然简单，但是可以通过测试驾驶状况进行危机预警，这就是所谓的智慧脑。将来，Data Mining一个很重要的作用就是协助产生人工智能。”人们学习所需的时间将会越来越短，当短到一定程度时，人工智能也就形成了。“所以现在人们经常讲的Data Mining的其他形式，比如Machine Learning（机器学习）或Statistic Learning（统计学习），这些技术方面的进展将会越来越快。” 在大数据时代，技术已经不成问题。一方面，由于有了快速云端的大量扶持，数据挖掘的应用范围也愈加广泛，挖掘的对象不止是数字，还包括了声音、图片等所有媒体形式，因此也有人将它称作Media Mining。另一方面，随着数据变动速度加快，相应的统计思路也有所转变。以往的统计理论探讨的是如何追求完美的无偏、最小变异等等，“现在不需要精细到这种程度，只要看到一个趋势，知道个大概的情形就可以。误差甚至不需要在可控制的范围，更不需要去推导一个理想的境界。因为数据时刻在变，比如人们的网购行为，每天每个时段都会产生大量不同的数据，未来更会如此。”谢教授说，他现在正在教学生用Excel作数据挖掘，原本很多人都不知道Excel也可以拿来做统计。“其实用什么样的统计软件和技术越来越不重要了，关键还是怎么去用。” 无论如何，有一点是不可否认的，那就是数据挖掘的前景将超乎想象。技术方面，与文本挖掘的配合已经造就了许多成功案例，从期货分析到售后统计，在电信、银行、保险等各个行业都亟待推广。应用方面，台湾房地产的有关部门已经实现房屋的三维模拟，并且将气象资料和工程资料结合起来告诉买主，这间房子的噪音是多少分贝，光照程度如何。另外台湾也有私人气象公司，可以将预测细化到小区层面，这实际上也是通过对气象局的资料进行数据挖掘后实现的。“所有这些基于数据挖掘的预测预警，无论针对的是地质灾害还是金融危机，整合起来就会形成一个风险预测体系，如果再将这个经验扩展到全球范围，风险管理也就呼之欲出了。

        为企业输血：搭建技术平台，培养人才团队

       1996年开始，谢教授就已经在帮助大陆的高校和企业建立研究中心。最初在人大建立了CATI实验室，实验室成立后的第一件事情就是为教育部调查大学生对于校内设施的满意度，CATI的高效性和便捷性使得校方的工作绩效有了极大的提升。此后，他又陆续在厦大、中财、南开、首经贸等学校成立了数据挖掘中心。厦大的数据挖掘中心发展到今天已经成为学校正式的一级单位。 1998年，华通的高总一行人到台湾参观了谢教授开拓的华人地区首套CATI，深受震撼。后来，高总临时有事要离开，谢教授亲自送他。原本以为缘分就到机场为止，高总一路上却始终若有所思，直到上飞机前，他对谢教授说：“假设华通要建立CATI，你们能不能帮忙？”谢教授当即回答到：“没问题，一句话。”后来，谢教授无偿帮助华通建起了10条线的CATI。“等于是看着他们慢慢成长，越来越好，鼎盛期的CATI做了800多条，”谢教授说，“800多条，都不敢想象！在台湾做五六十条线就OK了，因为我们的量就是这样。中国大陆实在是发展太快了！”后来，双方又在数据挖掘的基础上合作了网民数据挖掘项目、城市消费力模型、中小企业发展指数、能源预测预警系统等课题，华通的数据分析在此基础上提升了一个台阶，数据挖掘的服务领域也更加广泛。 在谢教授帮助进行数据挖掘的企业应用中，康师傅的冰糖悉尼成为大家津津乐道的案例。今年年初，统一推出冰糖悉尼饮品后，康师傅也跟着做了同样的尝试，虽然口味测试的效果一般，但是产品却大卖，于是就请来谢教授分析其中原因。谢教授看了康师傅搜集的全国一千多家零售商店所贩卖的饮料品种及其成分、价格，用Data Mining的方法马上得出了冰糖跟悉尼的高度相关性，答案自然就出来了，原来民间早有这样的组合，这不是一个品牌的创举，而是老祖宗留下的传统。康师傅负责饮料市场的专家一看，深受启发。另外，在担任顾问期间，他还帮助康师傅做了城市区割的规划，把全国7000多个小城市(镇)的区域结构、顾客消费行为、饮料市场行情，包括更重要的方圆20公里内的水供应这一系列资料收集起来，与产品口味测试、广告测试，以及调研数据等宏观资料整合在一起，再做Data Mining，寻找到底是什么人消费了什么样的产品，以提供决策支持。 谢教授认为，与企业之间分享新的知识和技术是一件很有乐趣也有价值的事。“对我而言其实很简单，自己的东西有人用，说明有人欣赏你，这就是好事。”实际上，这也是他的学术理念。无论是对自己还是对学生，他的要求都是要能够学以致用，而不单纯是躲在学校里面埋头钻研。目前，谢教授在大陆有将近10个博士生。他说，“希望自己培养出来的学生能够对企业有用，能够独当一面，这样最实在”。现在一些大公司的经理或总监早前都是他的学生，学生们留在高校任教的反而越来越少，大都去了业界、银行这些对数据挖掘很有现实需求的部门。 谢教授一直在强调团队的概念，他希望学生之间以团队的立场相互交流、相互帮助。所谓“师傅引进门，修行在个人”，许多问题他都鼓励学生自己去寻求解决办法，但这并不意味着老师可以放手不管。在台湾的时候，每个礼拜六、礼拜天，他都跟大陆的研究生们上网交流，除了探讨研究方面的问题之外，更重要的是分享新鲜资讯。正说着，他兴致勃勃地从包里掏出一份飞机上的报纸，上面刊登了一篇题为消费基因的文章，涉及到数据挖掘的最新应用。他说自己喜欢不断去发现和收集一些新的东西，并且分享给学生，督促大家积极地参与讨论。 在他看来，大陆的学生很用功，台湾学生的特点则是创新，作为老师，不能以一个单一的标准去衡量学生，而是应该引导学生，将各自的优点融合起来。所以，他经常让两岸学生互相来往，交流经验，企业对此也给予了支持。他们觉得，无论是在客户端，还是像华通这样的服务公司，最根本就是人才。谢教授在学校建立数据挖掘中心也好，带博士生和硕士生也好，两岸交流也好，其实都是在为这个行业输血。包括华通自己的数据挖掘小组也经常请谢教授来授课，努力将知识跟实战结合起来。 他同时也坚持自己的学术立场，认为学校是一个最好的研究场所，尤其在台湾，学者有很大的开放空间去做研发，与业界、政府界的联系也十分密切，经常有机会接触到一些最新的东西，产生出新的点子。“我经常会想为什么不这样做，为什么不那样做？想到这里东西也就出来了，CATI当初就是这么来的。以前我跟台湾行政体系，类似于国家统计局，我们之间很熟，我常到那里去看他们做的调查，有了一些想法之后，再联系到台湾越来越高的电话普及率，然后就决定把CATI做出来。”

       促进两岸交流：放开传统观念，建立数据挖掘意识

      谢教授说，台湾的数据挖掘之所以发展较快，受到欧美地区的影响是有的，应用上的迫切性也有，另外还有一点，台湾在数据方面的开放程度很高。他一直鼓励两岸三地的交流与合作，无论是学术交流还是学界与企业之间的分享。他说，中国有一句话叫做“鱼帮水，水帮鱼”，“学术界也不用从商业的角度来看待这件事情。就像我帮了企业，之后我在中国人民大学每办一次研讨会，都得到了企业的支持。”他也时常推荐台湾的厂商、企业，甚至外贸协会与华通合作。每当外界对于中国大陆统计数值的质量有所怀疑时，他都会说：“别人你不相信没关系，如果你真的要做，就找华通。”与20年前刚到大陆时相比，谢教授感觉到大陆的环境已经明显改善。 不过，目前市场研究方面仍然有待改进。以人才的问题为例，市场研究给人的感觉总是要比咨询低一个层次，人才的输入也因此受到阻碍。针对这一点，谢教授说，关键是要从观念上真正理解数据价值。比如大陆的CATI从10条变成800条线，就意味着已经转变为传统产业，“一个大学毕业生只要10条电话线就可以做市场调研了，大家都会了，所以才有所谓的低一层次的说法，好像市场研究变成一个很廉价的资料搜集。但实际上并不是这样。”市场研究与传统的资料搜集最大的不同之处就在于数据价值，也就是说，能够从数据库，从资料上得到价值才是最重要的。“如果市场调查公司都能搭建起这样的价值体系，可以帮助客户深入挖掘资料信息，那么层级自然就高一等了，假设只是搜寻数据，那么利润会越来越低，越来越薄，市场随时可以把你关掉。”虽说这十几年左右，大陆发展了许多新的调查技术，包括新建的CATI也很多，但是搜集的数据参差不齐。而且，搜集到数据之后，如何整理的宏观数据库，产业、企业数据库，以及调研所得的数据，又是对于未来发展至关重要的问题。 就像Data Mining的问题不是技术问题，中国大陆的根本问题也不在于硬件方面，而是在于管理理念和商业模式。台湾从制造业发展到服务业为主，从传统的低附加值走向高附加值，一开始是受欧美经济战略的影响，后来的变化更多的是体现在人的素质和管理层面上。以服务业为例，华通人去台湾时专门去了台北一零一大楼的“景泰丰”，回到北京后又对比了以服务着称的“海底捞”，“海底捞用的是从农村里来的孩子，景泰丰用的是大学教出来的，这就有差异了。”现在的领导层再去台湾，不仅仅是去学技术，更多的是学管理，学意识。“实实在在的差距，不是能够通过随机应变来解决的，只有等到意识和管理都达到那种高度的时候，这种差距才能消除。” 比起传统的市场调查，大陆的Data Mining尚处于探索阶段，没有完全实现接到项目需求，立即执行，继而完成报告的流水线模式。这里的问题包括客户是否放心把数据放给服务公司来做分析，以及得出的最终结果是否真正能满足客户的要求等等。“大陆的增长空间还是很大的，比如电话普及率，现在的家庭固定电话早已普及，手机也不止人手一台了。”谢教授下一步的计划就是帮助大陆企业，建立起数据挖掘意识。“通过与企业合作，整合云端技术，寻求真正的数据价值，再去与企业分享，希望能够在大陆的数据挖掘以及商务智能的发展方面起到一些作用。”

采访/撰文：张翕/蔡融融/刘向清

原话录音整理：摩瑞市场研究公司

2012-11-12 16:28:27