回眸,境界 - 博客园

摘要：前言在Hadoop Job的各个运行过程中,Shuffle阶段一直是一个比较神秘的过程.因为Shuffle阶段是隶属于Reduce过程的子过程,所以很多时候会被人所忽略.但是Shffle的整个过程在map red... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(216) 评论(0) 推荐(0) 编辑

posted @ 2020-01-12 19:09 回眸,境界阅读(137) 评论(0) 推荐(0) 编辑

摘要：前言上篇文章讲述了如何从HDFS上拿到JobHistory的Job信息数据,当然如果能对这些数据进行二次分析的话,将会得到更加精准的分析结果.但是尽管说数据是有了,但毕竟是Hadoop系统内部记录的数据,如果我想... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(85) 评论(0) 推荐(0) 编辑

posted @ 2020-01-12 19:09 回眸,境界阅读(83) 评论(0) 推荐(0) 编辑

posted @ 2020-01-12 19:09 回眸,境界阅读(60) 评论(0) 推荐(0) 编辑

摘要：前言在之前两周主要学了HDFS中的一些模块知识,其中的许多都或多或少有我们借鉴学习的地方,现在将目光转向另外一个块,被誉为MRv2,就是yarn,在Yarn中,解决了MR中JobTracker单点的问题,将此拆分... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(85) 评论(0) 推荐(0) 编辑

posted @ 2020-01-12 19:09 回眸,境界阅读(418) 评论(0) 推荐(0) 编辑

posted @ 2020-01-12 19:09 回眸,境界阅读(317) 评论(0) 推荐(0) 编辑

摘要：前言任何分布式系统在不断演变的过程中,必然都会经过有小变到大的过程,中间也必定会由不稳定到逐步稳定的过程.在所有的这些系统能够稳定运行的一个前提是,完整的监控和报警系统.这个模块是系统保持稳定最最基础的模块服务.... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(119) 评论(0) 推荐(0) 编辑

posted @ 2020-01-12 19:09 回眸,境界阅读(198) 评论(0) 推荐(0) 编辑

Tippy