关于互联网下的大数据及大数据对人的影响
<一>大数据概述
在第三次浪潮的革命来临后,“大数据”一词从原本陌生的专业领域一跃进入公众眼帘,并作为时髦的热词写入各级政府工作报告中。它所掀起新的数据技术革命,正深刻地改变着我们这个时代的生产、工作和生活样式,并推动着人类认识、理解世界的方式转变。为此,必须全面准确把握大数据所揭示的深刻内涵及其走势,积极适应大数据风暴带来的思维方式的转变及观念变革。
数据(data)作为有根据的数字编码,它与人类社会密切相关。在古埃及,人类已经学会了通过数字来计量财富和安排日常生活;在文艺复兴后的欧洲,人们开始用数据来刻画自然乃至人文规律。近现代以来,随着人们面临的问题起来越复杂化,单靠传统的演绎方式来进行研究已变得十分困难,这就使得数据归纳变得越来越重要。数据作为一种很特殊的资源和资本,由于它没有排他性、没有消耗性,却有整合性,通过1+1完全可以实现大于2的效果,其重要性日益凸显出来。伴随近现代信息技术的发展和数字化进程的日益加快,数据逐渐脱离仅仅作为刻画事物关系刻度表征的特性,成为世界万物的量化影射,成为一个独立客观的数据世界。大数据理论认为,世界的一切关系皆可用数据来表征,人类也可以通过数字化的信息对客观世界进行再认识。数据已成为描述客观世界的有力工具,人们的一切活动均可以通过文字、图像、视频、音频等数据形式进行描述。特别是随着互联网过渡到物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及各种各样的传感器,人们的各方面信息正通过无处不在的互联网络被采集、汇总和辩析,数据的爆发式增长已不可避免。
大数据(bigdata)又称为巨量数据、海量数据,是由数量巨大、结构复杂、类型众多数据构成的数据集合,是基于云计算的数据处理与应用模式,通过数据的集成共享,交叉复用形成的智力资源和知识服务能力。与传统数据相比,大数据具有来源广、规模大,更容易发现事物之间的关联性,实现对未来的合理预测的新特点。早在1980年,美国着名的未来学家阿尔文·托夫勒在《第三次浪潮》一书中,就将大数据热情地赞颂为“第三次浪潮的华彩乐章”。近日,阿里巴巴董事局主席马云更是放言“数据可以让机器像人一样地运转,这是人类第一次创造的可以持续使用的资源,而且越用就会越有价值”。
大数据作为数据分析的前沿技术,它具有四个明显的特征。一是数据体量巨大。据统计,目前为止人类生产的所有印刷材料的数据是200PB,而历史上全人类说过的所有话的数据量是5EB。以前,GB级数据就是个天文数字,但现在个人计算机的容量大多是TB量级,一些大企业的数据量已接近EB甚至ZB级量级。二是数据模态繁多。既包括以文本为主的结构化数据和半结构化数据,更包含网络日志、音频、视频、图片、地理位置信息等多类型的非结构化数据。要处理如此海量的非结构化数据,非通过特定的大数据处理技术提取不可。三是价值密度较低。相关专家指出,就大数据的价值而言,就像沙里淘金,大数据的规模越大,真正有价值的数据相对越少。不言而喻,大数据的价值密度与总量的大小成反比。如何通过强大的机器算法更迅速地完成数据的价值“提纯”是当下亟待解决的难题。四是生成速度要快。在互联网高速发展的大背景下,人们对数据的实时性动态性的需求越来越清晰。如何以近乎实时动态的方式,将数据传递交换给用户,确保永远在线并能随时调用和计算,很大程度上考验着服务商处理数据的效率。
由此观之,相较于传统的煤、石油等物质性资源不可再生、很难共享,大数据作为一种新兴的战略资源,既可以重复使用,还能在共享的前提下,产生新的价值,制造共赢,因而也被人们赋予更多的期待。
毫无疑问,大数据正以极速方式嵌入经济社会生活的方方面面。数据驱动发展已成为时代主题,大数据正在开启一个崭新时代。它不仅为新一代信息技术产业提供了核心支撑,正成为经济增长和社会发展的高速引擎、科技创新的新动力和新源泉。
<二>大数据与物联网、云计算之间的区别与联系
在互联网迅速发展的时代下,逐渐划分国各大分支:物联网、云计算、大数据。互联网(IOI)与物联网(IOT)负责将所有的事物及信息联系起来,互联网云脑的架构也逐步清晰起来。各大分支的区别与联系如下:
1.物联网是互联网大脑的感觉神经系统
因为物联网重点突出了传感器感知的概念,同时它也具备网络线路传输,信息存储和处理,行业应用接口等功能。而且也往往与互联网共用服务器,网络线路和应用接口,使人与人(Human ti Human ,H2H),人与物(Human to thing,H2T)、物与物( Thing to Thing,T2T)之间的交流变成可能,最终将使人类社会、信息空间和物理世界(人、机、物)融为一体
2.云计算是互联网大脑的中枢神经系统
在互联网虚拟大脑的架构中,互联网虚拟大脑的中枢神经系统是将互联网的核心硬件层,核心软件层和互联网信息层统一起来为互联网各虚拟神经系统提供支持和服务,从定义上看,云计算与互联网虚拟大脑中枢神经系统的特征非常吻合。在理想状态下,物联网的传感器和互联网的使用者通过网络线路和计算机终端与云计算进行交互,向云计算提供数据,接受云计算提供的服务。
3.大数据是互联网智慧和意识产生的基础
随着博客、社交网络、以及云计算、物联网等技术的兴起,互联网上数据信息正以前所未有的速度增长和累积。互联网用户的互动,企业和政府的信息发布,物联网传感器感应的实时信息每时每刻都在产生大量的结构化和非结构化数据,这些数据分散在整个互联网网络体系内,体量极其巨大。这些数据中蕴含了对经济,科技,教育等等领域非常宝贵的信息。这就是互联网大数据兴起的根源和背景。
与此同时,深度学习为代表的机器学习算法在互联网领域的广泛使用,使得互联网大数据开始与人工智能进行更为深入的结合,这其中就包括在大数据和人工智能领域领先的世界级公司,如百度,谷歌,微软等。2011年谷歌开始将“深度学习”运用在自己的大数据处理上,互联网大数据与人工智能的结合为互联网大脑的智慧和意识产生奠定了基础。
<三>大数据对人类的影响
在大数据的时代潮流下,人类想谋求发展,必须牢固树立大数据思维,积极适应大数据带来的整体观念变革。
一、是推动从样本思维向总体思维转变。
以往,由于诸多客观条件限制,人类无法获得所研究对象的总体特征和数据信息。因而,在决策时只能通过采样手段来获取数据进行分析或推理,其结论往往是一叶障目,不见泰山;在大数据时代,人们可以更加方便、快捷、动态地获得所研究对象的所有数据,并具备全样本数据分析能力,更能从海量信息中寻求客观真理。这就要求我们对数据的思维方式,也应该从样本思维转向总体思维,从而能够更加全面地把握全局。
二、是推动从局部思维向全局思维转变。
过去,人们在决策时,往往只有基于视野范围之内,在极为有限的局部信息中寻求次优决策,不异于是井底之蛙;而依据大数据则可将整个大千世界尽收眼底,更加系统地把握客观对象,从而实现最优决策。
三、是推动从精确思维向容错思维转变。
在小数据时代,由于收集的样本信息量少,必须确保记录的数据尽量结构化、精确化。否则,分析得出的结论在推及总体上就会南辕北辙。然而,在拥有海量即时数据时,绝对的精准已不再是主要目标,适当忽略微观层面上的精确度,容许一定程度上的错误与混杂,反而更能在宏观层面拥有更好的洞察力。
四、是推动从因果思维向相关思维转变。
过去,人们在对小样本数据进行分析时,往往执着于现象背后的因果分析,试图通过有限样本数据来剖析其中的内在机理。但小数据的一个极大缺陷就是有限的样本数据无法反映事物之间普遍性的相关关系。而在大数据时代,通过相关技术可以挖掘出事物之间隐蔽的相关关系,可以准确地获得更多的认知和洞见,从而帮助人们捕捉现在和更好地预测未来。
五、是推动从自然思维向智能思维转变。
大数据时代的到来,为提升机器思维由自然思维向智能思维转变带来了大好契机,特别是随着物联网、云计算、社会计算、可视化技术的突破发展,使得大数据系统也能类似人脑一样,自动搜索所有相关的数据信息,进而主动、立体、逻辑地分析数据、做出判断、提供洞见,从而具有类似人类的智能思维能力和预测未来的能力。
<四>大数据时代下,我的角色
在第三次浪潮的推动下,“大数据”一词从原本陌生的专业领域一跃进入公众眼帘,并作为时髦的热词写入各级政府工作报告中、渗透进了各大行业各大顶尖公司的项目发展战略中,在这样的时代潮流下,我将积极牢固树立大数据思维,积极适应大数据所带来的整体观念变革,成为该时代潮流下优秀的一员。