Hadoop概述

01.Hadoop干什么的?

  Hadoop是用来存储大量数据和分析计算的。

 02.Hadoop集群优势

  (1)高可靠性。Hadoop内部维护多个副本。

  (2)高扩展。可动态扩展删除节点。

  (3)高效性。Hadoop是并行工作的。

  (4)高容错。自动将失败的任务重新分配。

03.Hadoop 1.x 、2.x、3.x的区别

  1.x中MapReduce两个功能资源调度与逻辑计算,耦合性较大

  2.x加入Yarn,让它来负责资源调度。MapReduce只负责计算。

  3.x在组成上没有变化

04.HDFS框架图

05.Yarn架构概述

06.MapReduce架构概述

  MapReduce分为两个阶段:Map和Reduce

  Map并行处理输入数据

  Reduce对Map阶段的结果进行汇总

posted @   电竞~马保国  阅读(50)  评论(0编辑  收藏  举报
编辑推荐:
· SQL Server 2025 AI相关能力初探
· Linux系列:如何用 C#调用 C方法造成内存泄露
· AI与.NET技术实操系列(二):开始使用ML.NET
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
阅读排行:
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· 单线程的Redis速度为什么快?
· SQL Server 2025 AI相关能力初探
· AI编程工具终极对决:字节Trae VS Cursor,谁才是开发者新宠?
· 展开说说关于C#中ORM框架的用法!
点击右上角即可分享
微信分享提示