大数据介绍
背景介绍
hadoop: 开源项目,是一个分布式文件系统,有中心节点。批处理系统,不能实时返回
HDFS + mapreduce = hadoop
Hbase : hadoop的database
HDFS : 是有中心节点的, 组件:DN(datanode 数据节点) NN(namenode 负责元数据存储节点)
对于元数据节点,采用zookeeper来实现高可用,元数据存储在zookeeper上,因此每个NN节点都可以从zookeeper上获取元数据
DN节点存储各数据,通过数据副本形式,实现数据的高可用, 默认会存储3个副本,所以任何一节点故障,都会造成副本数量减少,数据节点会不断的享元数据节点报告自己的状态和所持有的副本
元数据节点会持有整体的数据块个数,数据库在个节点的分布等信息,如果有副本块的缺少,会补足数据库
对数据的处理:mapreduce
jobtracker : 任务分发, 请求程序的数据有它作为总控来处理