如何准确又通俗易懂地解释大数据及其应用价值?
本文来自网易云社区。
大数据的概念,是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合,是存储在各种存储介质中的海量的各种形态数据,具有 5V 特点,即:Volume (大量)、Velocity (高速)、Variety (多样)、Value (价值密度)、Veracity(真实性)。
大数据概念的产生就是因为数据量和数据类型急剧增加,以至于原有的数据存储、传输、处理以及管理技术不能胜任,需要全新的技术工具和手段。大数据,顾名思义,“大”该是应有之义,大数据的定义最初与容量有关系。业界有几种对大数据的定义,其中一个共同点就是数据的容量超出了原有的存储、管理和处理能力。适用于大数据的技术,包括大规模并行处理(MPP)数据库,数据挖掘电网,分布式文件系统,分布式数据库,云计算平台,互联网,和可扩展的存储系统。
对于“多大容量的数据才算大数据”,大数据的规模并没有具体的标准,仅仅规模大也不能算作大数据。规模大本身也要从两个维度来衡量,一是从时间序列累积大量的数据,二是在深度上更加细化的数据。
大数据之“大”,不仅在于其“大容量”,更在于其“大价值”,并已成为除人力、土地、财务、技术之外的另一种重要的资源。
在网购盛行的时代,“双11”、“6.18”等促销日总能掀起网购热潮。网购消费者基本都被精准推送过广告信息,如曾浏览过电饭煲的消费者,很长一段时间内会在登录页面后看到各品牌电饭煲信息。阿里、京东、360等互联网平台接触消费者众多,也因此获得了很多数据。但是正如精准推送一样,不对这些数据进行处理、挖掘就没法产生价值。
大数据作为重要的基础性战略资源,核心价值在于应用,在于其赋值和赋能作用,在于对大量数据的分析和挖掘后所带来的决策支撑,能够为我们的生产生活、经营管理、社会治理、民生服务等各方面带来高效、便捷、精准的服务。
大数据概念正是来自信息技术的飞速发展和应用,特别是随着云计算、物联网、移动互联网的应用,数据量迅猛增长。数据来源有两种,一种与人有关,比如政府、企业等为人们服务时产生的数据;另一种与物有关,万物互联时代,物联网应用的浪潮将带动数据量爆发式增长。
随着大数据的发展,企业也越来越重视数据相关的开发和应用,从而获取更多的市场机会。一方面,大数据能够明显提升企业数据的准确性和及时性;此外还能够降低企业的交易摩擦成本;更为关键的是,大数据能够帮助企业分析大量数据而进一步挖掘细分市场的机会,最终能够缩短企业产品研发时间、提升企业在商业模式、产品和服务上的创新力,大幅提升企业的商业决策水平,降低了企业经营的风险。
继互联网之后,真正能够对企业产生重大影响的就是大数据。同时,要将大数据与其他技术相结合。现在人工智能潮正在到来,在可见时间内,人工智能真正能够发挥作用的就是数据智能,即大数据。因为人工智能简单来说可分为两大类,一类是模型人脑工作机制、行为方式,是仿脑类脑的技术;另一类是快速的认识,因为人脑对大数据的认识本身没有那么快,但获取数据的速度极强,可以从数据中分析出人类认识问题特定的方式方法,这就是数据智能,也叫人工智能。
要使大数据真正产生价值,就必须要研究数据的关联、数据的聚类以及全样本问题。建立在相关关系分析法基础上的预测是大数据的核心,通过找出关联物并监控它,就能预测未来。
大数据无处不在,已经被应用到了各个行业,包括金融、汽车、餐饮、电信、能源、体能和娱乐等在内的社会各行各业都已经融入了大数据的印迹。
制造业,利用工业大数据提升制造业水平,包括产品故障诊断与预测、分析工艺流程、改进生产工艺,优化生产过程能耗、工业供应链分析与优化、生产计划与排程。
金融行业,大数据在高频交易、社交情绪分析和信贷风险分析三大金融创新领域发挥重大作用。
汽车行业,利用大数据和物联网技术的无人驾驶汽车,在不远的未来将走入我们的日常生活。
互联网行业,借助于大数据技术,可以分析客户行为,进行商品推荐和针对性广告投放。
餐饮行业,利用大数据实现餐饮O2O模式,彻底改变传统餐饮经营方式。
电信行业,利用大数据技术实现客户离网分析,及时掌握客户离网倾向,出台客户挽留措施。
能源行业,随着智能电网的发展,电力公司可以掌握海量的用户用电信息,利用大数据技术分析用户用电模式,可以改进电网运行,合理设计电力需求响应系统,确保电网运行安全。
物流行业,利用大数据优化物流网络,提高物流效率,降低物流成本。
城市管理,可以利用大数据实现智能交通、环保监测、城市规划和智能安防。
生物医学,大数据可以帮助我们实现流行病预测、智慧医疗、健康管理,同时还可以帮助我们解读DNA,了解更多的生命奥秘。
体育娱乐,大数据可以帮助我们训练球队,决定投拍哪种题材的影视作品,以及预测比赛结果。
安全领域,政府可以利用大数据技术构建起强大的国家安全保障体系,企业可以利用大数据抵御网络攻击,警察可以借助大数据来预防犯罪。
个人生活, 大数据还可以应用于个人生活,利用与每个人相关联的“个人大数据”,分析个人生活行为习惯,为其提供更加周到的个性化服务。
数据的价值,远远不止于此,大数据对各行各业的渗透,大大推动了社会生产和生活,未来必将产生重大而深远的影响。
网易猛犸大数据平台作为一站式的应用开发和数据管理平台,通过大数据开发套件,将数据开发、任务运维、自助分析、数据管理、项目管理等工作通过工作流的方式有效的串联起来,提供敏捷易用的用户操作界面,降低了大数据分析的使用门槛,显著地提高了数据开发工程师和数据分析师的工作效率。猛犸大数据平台在电商、音乐、云课堂学习、企业工业制造等领域已广泛应用,基于持续的需求驱动,通过多行业的业务验证,同时丰富全面的组件,提供完善的平台能力,满足不同类型的业务需求。点击这里可免费试用。