摘要: 一、完全分布式集群搭建 1、规划 HDFS: 1个NN+N个DN YARN: 1个RM+N个NM 避免单点故障,NN和RM建议分散到多台机器。注意负载均衡。 hadoop101 hadoop102 hadoop103 DN DN DN NM NM NM NN RM 2NN 2、准备集群,安装软件 ( 阅读全文
posted @ 2022-02-27 21:54 bug开发工程师 阅读(45) 评论(0) 推荐(0) 编辑
摘要: 一、hadoop简介 1、优势 高可靠性:底层维护多个数据副本,所以即使hadoop某个计算元素或存储出现故障也不会导致数据丢失。 高扩展性:在集群间分配任务数据,可方便扩展很多节点 高效性:在MapRedurce的思想下,Hadoop是并行工作的,以加快任务的处理。 高容错性:能够自动将失败的任务 阅读全文
posted @ 2022-02-27 14:52 bug开发工程师 阅读(33) 评论(0) 推荐(0) 编辑