大数据介绍

背景介绍

  hadoop: 开源项目,是一个分布式文件系统,有中心节点。批处理系统,不能实时返回

     HDFS  +   mapreduce = hadoop     

  Hbase : hadoop的database

   HDFS : 是有中心节点的, 组件:DN(datanode 数据节点)  NN(namenode 负责元数据存储节点)

   对于元数据节点,采用zookeeper来实现高可用,元数据存储在zookeeper上,因此每个NN节点都可以从zookeeper上获取元数据

   DN节点存储各数据,通过数据副本形式,实现数据的高可用, 默认会存储3个副本,所以任何一节点故障,都会造成副本数量减少,数据节点会不断的享元数据节点报告自己的状态和所持有的副本

    元数据节点会持有整体的数据块个数,数据库在个节点的分布等信息,如果有副本块的缺少,会补足数据库

对数据的处理:mapreduce

   jobtracker : 任务分发, 请求程序的数据有它作为总控来处理 

  

 

 

 

 

 

posted @ 2022-07-09 13:10  huxl1  阅读(26)  评论(0编辑  收藏  举报