过去须要用百年才干走完的一个时代如今可能用几十年、十几年就完毕了,英国的工业革命从发芽到在全世界生根用了一百年,美国的信息快速公路从一项绝密计划到让世界变成一个村落用了二三十年。而移动互联网、云计算、大数据如今正席卷全球,让各国的政府、企业都在将其视为一个金矿,希望能从中占得先机。大数据的理论研究应该有十几年的历史。随着研究的进行,相关的应用也已经投入到不管是实验室或者是尖端企业的内部,而离我们的日常生活还非常遥远。我想在不久的将来最重要的是将大数据应用到我们的日常生活中。让每一个人都成为大数据的贡献者、管理者和获利者。可是。大数据正在经受已有制度、规则以及传统思维模式的挑战,我们须要的是变革。从思维上建立与大数据的一致性。
当硬盘等存储设备的价格变得越来越廉价了,当数据中心在全球部署得越来越密集,当server的运算速度越来越快的时候。我们能够存储全部的数据。存储若干年,几十年的数据,从这些数据其中不管是横向角度还是纵向角度都能够去分析潜在的规律。
这样的分析方式是对採样分析的挑战,採样分析在过去非常长一段时间为我们分析数据带来了便利。而且有一定的准确性。然而随着时代的变更,细分在社会中占的比重越来越大。比如问卷调查“对就业城市的选择”。过去可能在大街上随便发上千份调查问卷,然后回来做个统计就算分析出大家的喜好了,然而在曾经大家会认同这个数据。然而这个数据可靠吗?太不可靠了,由于接受问卷的人都是同一地域的人,都是同一年龄层次的人,都是同一行业的人。不能代表更广大人群的心声。这就是採样分析的弊端。无法从细分的角度去诠释数据样板的规律。给出靠谱的解释。大数据的做法将颠覆传统,它不会是当须要进行一次问卷调查的时候就去搜集样板信息,这样不管是从时间、地域、人群都输在了起跑线上。
如果企业的招聘录用信息都已经做了电子化处理,大数据应用将对这个总体样板进行分析从年龄层面、从行业层面、从地域层面给出就业城市选择的不同答案。
从古至今,我们都一直在精益求精。这让我们取得 了非常多举世瞩目的成就,比如我们研究物质。我们探寻到物质是由原子组成的,而后原子这个最小单位被打破了,它的内部还有质子和电子,又过了多少年。质子和电子也被觉得不是最小单位,还有夸克。
这是一种态度。须要坚持,这个方向有利于我们能怀着追求极致的情怀继续在科学的道路上前行。
然而如今有了另外一个方向。这个方向要求我们放弃精准。我们须要把注意力专注到事物的发展方向上就可以,这个发展方向就是一种可能。可能就代表一种预測。
快餐化的生活让我们对未来会怎么样。对下一步会怎么样的需求越来越大。海量的数据不应该被尘封,应该发光发热,为我们预測未来,预測变化。
不知道大家注意到没有。如今QQ已经開始做图像识别方面的工作了,当你浏览好友相冊的时候,QQ应用程序会掘取当中的人脸,让你填写该人脸的真实名字。假设每一个人都在做这项工作。随着岁月的积淀,有一天QQ就能够直接告诉你相片中的每一个人是谁了,同一时候也能够想其它好友推荐美好的瞬间。
这就是一种精准的预測。尽管不可能是100%,可是能告诉我们愿意得到的信息。我们的国家也在定期搜集衣食住行方面的数据,不断的优化计算CPI的模型,为有效控制和预測通胀提供參考。
中国人历来讲究因果。不仅知其然,更要知其所以然。假设在大数据面前。我们仍喋喋不休,那么将丧失非常多可能性,放在商业。就会浪费商机,放在医疗,就会让病人错过某些疾病治疗的良机。大数据之所以不关注因果关系,那是由于大数据发现相关关系更能说明问题,并且这样的解释就是理所当然的。大数据分析发现当某一种数据添加时。第二种数据也会跟着添加,假设将二者结合看,在现有认知下并不能发现二者的因果关系。我们为什么不搁置因果,先应用这样的得出的结论,看这个结论能否产生效益。
零售业巨头沃尔玛在这方面的研究走在了前列,通过记录每位购物者的购物清单。还记录当天的天气,经过长时间的研究,发现当飓风来暂时,手电筒和蛋挞的销量剧增,手电筒的需求是源于假设发生停电。手电筒能够支撑照明,可是每一个人都不明确为什么这个时候大家都爱吃蛋挞。没有必要纠结为什么。以后飓风来临,就把手电筒和蛋挞放在一起卖吧,这样销售量果然大增。
大数据在未来面临的挑战主要是双方面:一是思维和制度的变革;二是记录信息的方式须要全面的电子化。未来。随着政企网、智慧城市、智能交通这些新兴事物在城市里面变得习以为常。人们都愿意採用电子化的方式记录和管理我们的信息,那么大数据一定会有更大的用武之地,产生更大的商业价值和社会效应。