回眸,境界 - 博客园

摘要：前言我在最近的几篇文章中都或多或少的提到了一个很重要的词-"监控".为什么要提到这个词呢,因为如果你和我一样是一名大数据工程师,你手下管理着批量的集群机器,并且同时这个集群的规模还会不定时的扩大,机器一旦变多,发... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(185) 评论(0) 推荐(0) 编辑

摘要：前言我们都知道,在Hadoop中,一个Job的执行需要转化成1个个的Task去执行,在Task中,有会有2个类型,一个为Map Task,另一个就是Reduce Task.当然,这不是最底层的级别,在Task内部... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(589) 评论(0) 推荐(0) 编辑

摘要：前言在目前的Hadoop集群中,对于所有的用户Job来说,态度都是一致的,也就是说,"来者不拒",但是如果集群的平均Job运行数量上去的,就免不了会出现资源的滥用现象了,之前介绍过几篇相应的文章,不过主题都是偏向... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(85) 评论(0) 推荐(0) 编辑

posted @ 2020-01-12 19:09 回眸,境界阅读(79) 评论(0) 推荐(0) 编辑

posted @ 2020-01-12 19:09 回眸,境界阅读(64) 评论(0) 推荐(0) 编辑

摘要：前言Hadoop系统作为一个比较成熟的分布式系统，他被人们常常定义为一个存储海量数据的地方，与MySQL这里传统的RDBMS数据库有着明显的不同。Hadoop拥有着他天然的优势，他可以存储PB级别的数据，只要你的... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(89) 评论(0) 推荐(0) 编辑

posted @ 2020-01-12 19:09 回眸,境界阅读(63) 评论(0) 推荐(0) 编辑

posted @ 2020-01-12 19:09 回眸,境界阅读(119) 评论(0) 推荐(0) 编辑

摘要：前言作为一名职业程序员，如果去除待遇，薪资等等的因素考虑，从纯技术的角度出发，如何才能达到一个比较高的境界呢，答案是与最顶尖的那一批人交流合作，当然，最顶尖的那批人很多几乎估计都不在身边，而且大多在国外。那么难道... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(100) 评论(0) 推荐(0) 编辑

posted @ 2020-01-12 19:09 回眸,境界阅读(75) 评论(0) 推荐(0) 编辑

Tippy