1.hadoop架构
(1) hdfs => hadoop file system
a.将文件拆分存储:hadoop 2.x
1) 每个文件拆分成128兆每个文件篇存储在不同的节点上
2) 比如300兆的文件会被拆分成:128    128    44
b. 缺点
1) 不适合低延时(毫秒以下)
2) 不适合大量小文件
3) 不支持并发写入、随机修改、只支持追加
(2) mapreduce => map reduce
a.以 WordCount 为例
(3) yarn => yet another resource nigotiator

 

 

1.DataNode 每一小时向NameNode 汇报所有Block块信息
2.DataNode 每三秒向NameNode 发送一次心跳包,心跳会带回NameNode 给DataNode 的命令:如把某数据块复制到哪个节点备份
3.如十分钟没有受到某DataNode 的心跳包,则认为不可用并移除
4.集群在运行种可以安全添加或移除节点

posted on 2020-08-22 09:25  尧啊尧  阅读(103)  评论(0编辑  收藏  举报