回眸,境界 - 博客园

摘要：前言在hadoop的FsShell命令中,估计很多人比较常用的就是hadoop fs -ls,-lsr,-cat等等这样的与Linux系统中几乎一致的文件系统相关的命令.但是仔细想想,这里还是有一些些的不同的.首... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(121) 评论(0) 推荐(0) 编辑

摘要：前言最近在运维我们部门的hadoop集群时,发现了很多Job OOM的现象,因为在机器上可以用命令进行查看,full gc比较严重.我们都知道,full gc带来的后果是比较大的,会"stop the world... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(92) 评论(0) 推荐(0) 编辑

posted @ 2020-01-12 19:09 回眸,境界阅读(54) 评论(0) 推荐(0) 编辑

posted @ 2020-01-12 19:09 回眸,境界阅读(50) 评论(0) 推荐(0) 编辑

摘要：前言最近在工作中解决了一个慢磁盘的问题,个人感觉整个发现-分析-解决的过程还是非常有意思并且很有意义的.而且磁盘监控在目前的Hadoop中还是没有做的很全的,大多数都是对Datanode,可以说这是1个盲区.其实... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(216) 评论(0) 推荐(0) 编辑

posted @ 2020-01-12 19:09 回眸,境界阅读(139) 评论(0) 推荐(0) 编辑

摘要：前言Hadoop作为一个大型的分布式系统,当他的规模不断的扩大,扩增到一定程度的时候,所使用的业务方自热而然的也会变多,不同的业务方会提交各种各样类型的任务,有人提交hive的查询任务,有人会写MapReduce... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(165) 评论(0) 推荐(0) 编辑

posted @ 2020-01-12 19:09 回眸,境界阅读(94) 评论(0) 推荐(0) 编辑

posted @ 2020-01-12 19:09 回眸,境界阅读(83) 评论(0) 推荐(0) 编辑

摘要：前言我在最近的几篇文章中都或多或少的提到了一个很重要的词-"监控".为什么要提到这个词呢,因为如果你和我一样是一名大数据工程师,你手下管理着批量的集群机器,并且同时这个集群的规模还会不定时的扩大,机器一旦变多,发... 阅读全文

posted @ 2020-01-12 19:09 回眸,境界阅读(152) 评论(0) 推荐(0) 编辑

Tippy