摘要: 一、大数据的4V特性1、Volume:体量巨大2、Variety:数据类型繁多3、Value:价值密度低4、Velocity:处理速度快二、大数据处理需要解决的问题1、存储2、计算3、挖掘4、展现三、大数据处理涉及的6个方面1、数据入口数据传输和同步一般采用基于时间线的实时同步和批量同步二种方案。实时同步:LinkedIn的Databus+Kafaka、淘宝的TimeTunnel。批量同步:FaceBook的Scribe、Cloudera的Flume、Hadoop的Chukwa。2、数据的分布式存储基于内核层:Ceph、GlusterFS基于用户层:HDFS、GFS业务层:HBase(列存储) 阅读全文
posted @ 2013-07-28 14:11 diablo大王 阅读(724) 评论(0) 推荐(0) 编辑