摘要: 一直没有重视三者之间的通信问题,在此整理一下提问:datanode之间有没有交互?Hadoop安装时ssh如何配置?1.背景知识:在Hadoop系统中,master/slaves/client的对应关系是:master---namenode;slaves---datanode;client---df... 阅读全文
posted @ 2015-05-24 23:38 MasonWangCN 阅读(3798) 评论(0) 推荐(0) 编辑
摘要: 最近在做一个itemCF的推荐引擎实验,矩阵的MR实现使我很无语。。。时间慢,空间很快就满了,2KB的实验数据和2GB的真实数据真正让我体验到了CS游戏和真实战争的差距,所以我决定扩展集群,以此来试验是否会提高效率。好了,进入正题:Hadoop集群如何动态增加节点?1.实验环境:Hadoop2.6.... 阅读全文
posted @ 2015-05-24 22:43 MasonWangCN 阅读(585) 评论(0) 推荐(0) 编辑