回眸,境界 - 博客园

摘要：前言我在最近的几篇文章中都或多或少的提到了一个很重要的词-"监控".为什么要提到这个词呢,因为如果你和我一样是一名大数据工程师,你手下管理着批量的集群机器,并且同时这个集群的规模还会不定时的扩大,机器一旦变多,发... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(185) 评论(0) 推荐(0) 编辑

posted @ 2020-01-12 19:09 回眸,境界阅读(97) 评论(0) 推荐(0) 编辑

摘要：前言我们都知道,在大数据领域,Hive的出现帮我降低了许多使用Hadoop书写方式的学习成本.使用用户可以使用类似Sql的语法规则写明查询语句,从hive表数据中查询目标数据.最为重要的是这些sql语句会最终转化... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(115) 评论(0) 推荐(0) 编辑

posted @ 2020-01-12 19:09 回眸,境界阅读(158) 评论(0) 推荐(0) 编辑

posted @ 2020-01-12 19:09 回眸,境界阅读(96) 评论(0) 推荐(0) 编辑

摘要：前言在Hadoop Job的各个运行过程中,Shuffle阶段一直是一个比较神秘的过程.因为Shuffle阶段是隶属于Reduce过程的子过程,所以很多时候会被人所忽略.但是Shffle的整个过程在map red... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(120) 评论(0) 推荐(0) 编辑

posted @ 2020-01-12 19:09 回眸,境界阅读(216) 评论(0) 推荐(0) 编辑

posted @ 2020-01-12 19:09 回眸,境界阅读(137) 评论(0) 推荐(0) 编辑

摘要：前言上篇文章讲述了如何从HDFS上拿到JobHistory的Job信息数据,当然如果能对这些数据进行二次分析的话,将会得到更加精准的分析结果.但是尽管说数据是有了,但毕竟是Hadoop系统内部记录的数据,如果我想... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(85) 评论(0) 推荐(0) 编辑

posted @ 2020-01-12 19:09 回眸,境界阅读(83) 评论(0) 推荐(0) 编辑

Tippy