企业如何提升大数据挖掘能力?

数据激增是当今社会的一大特性,如何有效的利用数据挖掘方法,从海量信息中提取出有用的模式和规律而不仅仅是“望洋兴叹”,已经成为人们迫切的需求。企业应该将数据挖掘视为一大法宝,利用它将数据转化为商业智能,提高企业的核心竞争力。从投资的角度来看,如果对数据研究所支付的费用少于研究成果所带来的价值,数据挖掘就值得去做。正如修行的省悟过程一样,要将数据挖掘引入公司,并非只有一种途径。我们的最终目的是解决企业的业务问题,为企业提供更大的商机。那么企业该如何提升本身的挖掘能力呢?

 

1.量身定做开发自己的数据挖掘平台
由于商业问题的特殊性,数据挖掘并没办法找寻一款适合自己的数据挖掘平台。必须通过考察各行各业的特殊性,所以购买软件时,需要先了解好这些挖掘平台有哪些功能,以及自己的需求要及时沟通,让软件服务方为我们提供一个解决方案。当然你也可以考虑开发一个适合自身环境的数据挖掘工具。不过可能会花去较长的时间,前期投入与产出相差太多,并不是很值得。这个量身定做的数据挖掘工具可以随时根据企业环境的变化做出修正和调整,并且有坚实的技术支持作为保障。这一点目前的数据挖掘平台厂商只有Smartbi等少数厂商能保障。因此,还是希望大家在选用数据挖掘平台时,尽量选择在市场上口碑较为好的大厂商,比较有保障。


2、降低变量准备时间

大数据挖掘中数据准备时间过长,企业除了考虑数据仓库建模,还需要考虑是否在此基础上建立一个数据挖掘的数据中台,数据挖掘中台属于数据中台的一部分,行业特性会比较明显,比如电商有电商的数据挖掘中台,运营商则有运营商的数据挖掘中台,只要你在某个行业数据挖掘做多了,变量准备做多了,你自然会找到一些共性的东西,如果能把它们沉淀下来,就能降低变量准备时间,建立数据挖掘中台涉及IT战略问题,对于传统被动型的数据管理机制流程都是挑战,比如要建立一支中台团队就不容易。

 

d'd's.png 

 

3、选对模型提升的方法

一般来说,在数据不变的情况下,大数据挖掘训练的边际效益不高,同样的数据用不同的算法反复训练。如果要尽快提高模型的效果,需要注意一些方法,尽量遵循以下优先顺序:业务>数据>算法。没有深入的业务理解,数据挖掘往往事半功倍。对行业的业务理解越透彻,就越能更好地把握数据中的本质特征。很多初级建模师算法能力很强,但是什么都不会,往往是因为对自己的企业数据了解太少,有句老话说得好:“外来的和尚念不好经”。一般企业的数据挖掘师都需要通过长时间的取数训练。如果他们能在数据仓库方面做得更好,他们将对企业的数据系统有一个全面的了解,并在功能选择方面有更多的发挥空间。大数据最重要的一个特点就是多维度,这也在一定程度上说明了数据多样性的重要性。

 

4、通过运营保有挖掘资产

“重建设,轻运营”是企业IT建设常见的毛病,由于数据挖掘的模型受业务和数据变化的影响很大,随着时间推移效果下降是必然的事情,而且这个折损跟固定资产折损还不一样,人家折损好歹还能正常用,但模型效果变差就意味着效益变差,模型更要拼运营能力。从这个角度看,如果你觉得一个模型重要,就要把它当成一个产品,用产品化的思维去运营它,比如设置独立的模型经理,从用户、流量和效果等角度去持续的做提升,很多企业模型建完推广完了就成鸟兽散,这注定了模型的悲剧。模型运营投入的代价是巨大的,如果很轻松,基本也就是些僵尸模型了。

 

简言之,企业自身远比外部更了解自己的业务和客户,最好的方法是购买相关的数据挖掘工具,像Smartbi、Rapid Miner等。然后在企业内部培养数据挖掘骨干人员——只有同时做到精通企业问题和数据分析方法,才能将数据挖掘的效用发挥到极致。

国内Smartbi是一个不错的选择,不仅可为用户提供直观的流式建模、拖拽式操作和流程化、可视化的建模界面,还提供了大量的数据预处理操作。此外,它内置了多种实用的、经典的机器学习算法,并基于Smartbi对企业客户的长期经验,提供了大量实用的企业级平台特性。

posted @ 2020-12-10 18:53  明月说数据  阅读(347)  评论(0编辑  收藏  举报