2014年3月21日

python 运行 hadoop 2.0 mapreduce 程序

摘要: 要点:#!/usr/bin/python 因为要发送到各个节点,所以py文件必须是可执行的。 1) 统计(所有日志)独立ip数目,即不同ip的总数 ####################本地测试############################cat /home/hadoop/Sep-2... 阅读全文

posted @ 2014-03-21 16:22 雨渐渐 阅读(1366) 评论(0) 推荐(0) 编辑

hadoo namenode format 异常 java.net.UnknownHostException: localhost.localdomain: localhost.localdomain

摘要: /etc/sysconfig/network换成你在hosts里设置的值/etc/rc.d/init.d/network restart 重启网络 hostname后就会发现hostname变了,也就能format了,注意需要集群所有的都做同样的动作。 只要在yarn-site.xml中,配置正确resourcemanager地址就行,这个地址可以用host或者ip另外,HOSTNAME不用刻意设置,hadoop自动会从/etc/hosts中读取host name,如果HOSTNAME也设置了,你需要保证两者一致,很麻烦 这是董西城对这个问题的回答,我其实看不懂~~~有看懂的解释下吧给我~ 阅读全文

posted @ 2014-03-21 09:08 雨渐渐 阅读(537) 评论(0) 推荐(0) 编辑

导航