2022年7月26日
haodoop概念总结
摘要： 大数据部门组织结构 Hadoop的优势（4高） 高可靠性：Hadoop底层维护多个数据副本 高扩展性：在集群间分配任务数据，可方便的扩展 高效性：在MapReduce的思想下，Hadoop时并行工作的，从而加快任务处理速度 高容错性：能够自动将失败的任务重新分配 Hadoop组成（重点） hadoo 阅读全文
posted @ 2022-07-26 16:31 POCOPOCOPOCO 阅读(77) 评论(0) 推荐(0) 编辑
haodoop企业优化
摘要： MapReduce 跑的慢的原因 MapReduce程序效率的瓶颈在于两点 计算机性能 CPU,内存，磁盘健康，网络 I/O操作优化 数据倾斜 Map和Reduce数设置不合理 Map运行时间太长，导致Reduce等待过久 小文件太多 大量的不可且片的超大压缩文件 Spill次数过多 Merge次数 阅读全文
posted @ 2022-07-26 16:28 POCOPOCOPOCO 阅读(55) 评论(0) 推荐(0) 编辑
Hadoop阶段学习总结
摘要： 第一部分：HDFS相关问题 一、描述一下HDFS的数据写入流程 ​ 首先由客户端想NameNode服务发起写数据请求，NameNode接收到请求后会进行基本验证，验证内容包括对请求上传的路径进行合法验证其次还要对请求的用户进行权限验证。验证没有问题后，NameNode会响应客户端允许上传。接下来客户 阅读全文
posted @ 2022-07-26 16:23 POCOPOCOPOCO 阅读(459) 评论(2) 推荐(0) 编辑
haodoop高可用
摘要： 高可用简介 Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似， 但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多 HA概述 所谓HA（High Availablit 阅读全文
posted @ 2022-07-26 16:18 POCOPOCOPOCO 阅读(71) 评论(0) 推荐(0) 编辑