HDFS--大数据应用的基石

 201852.5*10^1890%5G

    

 

    HDFS访

    HDFSHDFSGBTB访HDFS

 

    HDFSJava使master/slaveHDFSNameNodeDataNodesNameNode(namespace)访DataNodeHDFSHDFSDataNodeDataNodeNameNode

 

 

NameNode

1. 

    NameNode

2. 

    HDFSNameNodeDataNode(Blockreport)DataNode

3. 

    HDFSHDFSHDFS(rack-aware)

    HDFS3DataNodeid

4. 

    NameNodeDataNode()NameNode退

5. (MetaData)

    NameNodeHDFS

    a. 

    b. Data Node 

    c. HDFSData NodeData Node

    NameNode使EditLog使FsImage()NameNodeEditlogFsImageEditlogFsImageFsImageEditlog(checkpoint)(BlockMap)4G

    DataNodeNameNode

6. 

    HDFSTCP/IPTCPNameNodeClientProtocolNameNodeDataNode使DataNodeProtocolNameNodeClientProtocolDataNodeProtocol(RPC:Remote Procedure Protocol)NameNodeRPCDataNodeRPC

7. 

    NameNodeDataNode(network partitions)NameNodeZooKeeperNameNodeNameNodeDataNodeNameNodeDataNode

8. 

    DataNodeDataNode

9. 

    HDFSDataNode

 

SecondaryNameNode(SNN)

    SNNNameNodeNameNodeNameNodeEditlogFsImageNameNodeNameNode使 

    SNNCPUNameNode线SNNNameNodeNameNode

    SNN

1. fs.checkpoint.period3600s

2. fs.checkpoint.size64MB

 

    HDFSRPC--HDFS

posted @ 2019-04-20 10:11  北辰Root  阅读(548)  评论(0编辑  收藏  举报