大数据的简单介绍
大数据的定义
"Big Data"大数据是以容量大、取速度快、价值密度低为主要特征的数据集合,由于这些数据本身规模巨大、来源分散、格式多样,所以需要新的体系架构、技术、算法和分析方法来对这些数据进行采集、存储和关联分析,以期望能够从中抽取隐藏的有价值的信息。
大数据的4V特性
体量大(Volume):数据量大,包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P(1024个T)、E(100万个T)或Z(10亿个T)。Facebook最近在总部的一次会议中披露的一组数据可以给大家一个初步的印象,来一起看看每天Facebook上都得处理多少数据吧: 25亿 Facebook上分享的内容条数 27亿 “赞”的数量, 3亿 上传照片数 500+TB 新产生的数据 105TB 每半小时通过Hive扫描的数据 100+PB(1PB=1024TB)单个HDFS(分布式文件系统)集群中的磁盘容量截止到2012年,数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别。
类型多(Variety):种类和来源多样化。包括结构化、半结构化和非结构化数据,具体表现为网络日志、音频、视频、图片、地理位置信息等等,多类型的数据对数据的处理能力提出了更高的要求。
速度快(Velocity):数据增长速度快,处理速度也快,时效性要求高。比如搜索引擎要求几分钟前的新闻能够被用户查询到,个性化推荐算法尽可能要求实时完成推荐。这是大数据区别于传统数据挖掘的显著特征。
价值密度低(Value):数据价值密度相对较低,或者说是浪里淘沙却又弥足珍贵。随着互联网以及物联网的广泛应用,信息感知无处不在,信息海量,但价值密度较低,如何结合业务逻辑并通过强大的机器算法来挖掘数据价值,是大数据时代最需要解决的问题。