什么大数据?
1.
大数据(big data)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据时代悄然来临,带来了信息技术发展的巨大变革,并深刻影响着社会生产和人民生活的方方面面。
大数据时代
第三次信息化浪潮涌动,大数据时代全面开启。
根据IBM前首席执行官郭士钠的观点,IT领域每隔15年就会迎来一次重大变革。
信息化浪潮 发生时间 标志 解决的问题 代表企业
第一次浪潮 1980年前后 个人计算机 信息处理 Intel,AMD,IBM,苹果等
第二次浪潮 1995年前后 互联网 信息传输 雅虎,谷歌,阿里巴巴等
第三次浪潮 2010年前后 物联网、云计算和大数据 信息爆炸 亚马逊,谷歌,IBM等
人类社会的数据产生方式大致经历了3个阶段:
运营式系统阶段,用户原创内容阶段,感知式系统阶段。
大数据的发展历程:
萌芽期:
20世纪90年代到21世纪的样子,数据库技术成熟,数据挖掘理论成熟,也称数据挖掘阶段。
成熟期:
21世纪前10年,非结构化的数据大量出现,传统的数据库处理难以应对,也称非结构化数据阶段。谷歌公开发表两篇论文《谷歌文件系统》和《基于集群的简单数据处理:MapReduce》,其核心的技术包括分布式文件系统GFS,分布式计算系统框架MapReduce,分布式锁Chubby,及分布式数据库BigTable,这期间大数据研究的焦点是性能,云计算,大规模的数据集并行运算算法,以及开源分布式架构(Hadoop)。
大规模应用期:
2010年以后,大数据基础技术成熟之后,学术界及及企业界纷纷开始转向应用研究,2013年大数据技术开始向商业、科技、医疗、政府、教育、经济、交通、物流及社会的各个领域渗透,因此2013年也被称为大数据元年。
大数据的4个特点:
1.数据量大
2.数据类型繁多
3.处理速度快
4.价值密度低