2016年8月17日

Azkaban-2.5及Plugins的安装配置

摘要： Azkaban是由LinkedIn开发的调度工具，可以用于调度Hadoop中的相互依赖的Job。有时候，在Hadoop集群中运行的Job是相互依赖的，某些任务需要顺序的执行，这种场景下使用Azkaban能够很好的解决问题。 Azkaban有三个重要的组件构成：关系型数据库(... 阅读全文

posted @ 2016-08-17 23:00 吴一达 阅读(553) 评论(1) 推荐(0) 编辑

Hadoop2动态调整Log级别-以datanode的heartbeat log为例

摘要： 在Hadoop中，有些log信息在正常情况下是不打印出来的。比如datanode发送heartbeat的日志。 代码位于BPServiceActor#sendHeartBeat方法中，如下图： 由于默认心跳间隔时间为3s，默认打印该日志的话，日志文件会很大。一、使... 阅读全文

posted @ 2016-08-17 18:09 吴一达 阅读(497) 评论(0) 推荐(0) 编辑

导航