摘要: ResourceManager高可用配置 1. yarn-site.xml配置 <property> <name>yarn.resourcemanager.cluster-id</name> <value>yarn-ha</value> </property> <property> <name>ya 阅读全文
posted @ 2016-10-24 16:19 记忆残留 阅读(1492) 评论(0) 推荐(0) 编辑
摘要: 处理 复杂的要求的时候,有时一个mapreduce程序是完成不了的,往往需要多个mapreduce程序,这个时候就要牵扯到各个任务之间的依赖关系,所谓 依赖就是一个MR Job 的处理结果是另外的MR 的输入,以此类推,完成几个mapreduce程序,得到最后的结果 下面是用Mapreduce写的t 阅读全文
posted @ 2016-10-24 16:17 记忆残留 阅读(2002) 评论(0) 推荐(1) 编辑
摘要: 1,修正本地时区及ntp服务 #yum -y install ntp#rm -rf /etc/localtime#ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime#/usr/sbin/ntpdate -u pool.ntp.org2,自动同 阅读全文
posted @ 2016-10-24 16:15 记忆残留 阅读(535) 评论(0) 推荐(0) 编辑