2022年5月22日
mapreduce整理
摘要： mapreduce工作流程分成maptask和reducetask俩个阶段。其实就类似于spark和flink中的map算子和 reduce算子 主要关注这几个方面 逻辑切片如何决定maptask并行度 maptask计算开始前，job如何提交然后知道将文件分成多少逻辑切片 fileinputFor 阅读全文
posted @ 2022-05-22 20:37 习惯了蓝 阅读(24) 评论(0) 推荐(0) 编辑
namenode和secondary namenode之间的工作原理 整理，以及datanode 的工作机制和原理
摘要： namenode和secondary namenode中涉及到的主要概念就是 1 元数据 2 fsimage (备份元数据) 3 edits （操作日志） namenode为了快速响应随机访问，所以把元数据放在内存，同时为了防止断电导致元数据丢失，在磁盘上存在一个备份元数据的fsimage。当在内存 阅读全文
posted @ 2022-05-22 17:13 习惯了蓝 阅读(190) 评论(0) 推荐(0) 编辑