摘要:
分布式数据库HBase 一、概述 1.1 HBase简介 HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库,是谷歌BigTable的开源实现,主要用来存储非结构化和半结构化的松散数据。HBase的目标是处理非常庞大的表,可以通过水平扩展的方式,利用廉价计算机集群处理由超过10亿行数据和数 阅读全文
摘要:
分布式文件系统HDFS 一、分布式文件系统 1.1 计算机集群结构 分布式文件系统把文件分布存储到多个计算机节点上,成千上万的计算机节点构成计算机集群。 分布式文件系统所采用的计算机集群,都是由普通硬件构成的,大大降低了硬件上的开销。 1.2 分布式文件系统的结构 分布式文件系统在物理结构上是由计算 阅读全文
摘要:
大数据处理架构Hadoop 一、概述 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台,为用户提供了系统底层细节透明的分布式基础架构,基于Java语言开发的,具有很好的跨平台特性,并且可以部署在廉价的计算机集群中 。 Hadoop的核心是分布式文件系统HDF 阅读全文
摘要:
大数据概述 一、大数据时代 1.1 第三次信息化浪潮 IT领域每隔十五年就会迎来一次重大变革,信息科技为大数据时代提供技术支撑: 存储设备容量不断增加 CPU处理能力大幅提升 网络带宽不断增加 1.2 数据产生方式的变革: 1.3 大数据的发展历程 : 二、大数据概念 2.1 数据量大 根据IDC作 阅读全文