摘要: 并行计算框架(MapReduce): 适用于大数据量处理的分布式框架,是为离线数据分析而设计,利用数据的并行性进行分布运算,而后汇总结果的计算框架。 将任务拆分、分布、汇总,开发人员只需要实现业务逻辑;分布任务自动失败重试,单个任务失败不会造成整个任务退出;和HDFS整合,使计算移到数据所在的节点运 阅读全文
posted @ 2018-09-14 17:34 沙沙沙啊啊皮 阅读(252) 评论(0) 推荐(0) 编辑
摘要: NameNode Namenode 上保存着 HDFS 的名字空间。对于任何对文件系统元数据产生修改的操作, Namenode 都会使用一种称为 EditLog 的事务日志记录下来。例如,在 HDFS 中创建一个文件, Namenode 就会在 Editlog 中插入一条记录来表示;同样地,修改文件 阅读全文
posted @ 2018-09-14 17:33 沙沙沙啊啊皮 阅读(525) 评论(0) 推荐(0) 编辑