bigData学习笔记-hadoop总结

hadoop架构
.hdfs:分布式文件存储
包括:HDFS client,NameNode(临时存储),DataNode
.yarn:分布式资源管理
负责任务调度和资源管理,只关心资源使用情况
.mapreduce:分布式计算
分为两个操作一个是map:即使用map键值对的形式存储数据
reduce:核心处理过程
流程:读取数据--》map(存储)--》reduce(处理)--》输出数据

posted @ 2021-09-14 11:06  程序员亮亮丫!!  阅读(31)  评论(0编辑  收藏  举报