2013年5月2日
hadoop集群搭建指南
摘要： 1 先决条件确保在你集群中的每个节点上都安装了所有必需软件：sun-JDK ，ssh，Hadoopssh必须安装并且保证sshd一直运行，以便用Hadoop 脚本管理远端Hadoop守护进程。2实验环境搭建（3台主机）1) 首先设置namenode的ssh为无需密码的、自动登录。准备机器：一台master，若干台slave，配置每台机器的/etc/hosts保证各台机器之间通过机器名可以互访，例如： 10.64.56.76 node1（master） 10.64.56.77 node2 （slave1） 10.64.56.78 node3 （slave2） 主机信息:机器名IP地址作用No.. 阅读全文
posted @ 2013-05-02 11:30 remoteboy 阅读(273) 评论(0) 推荐(0) 编辑
2013年3月25日
flume配置问题
摘要： 启动flume master时报如下错误Attempted to start a master 'ech-dev.site' that is not in the master servers list: '[master]'查看env后发现ech-dev是计算机名，将flume-site.xml中master名称修改成如下，启动成功<property><name>flume.master.servers</name><value>ech-dev.site</value><description& 阅读全文
posted @ 2013-03-25 14:34 remoteboy 阅读(195) 评论(0) 推荐(0) 编辑
2013年2月22日
Windows下Hadoop的环境安装
摘要： 1.下载并安装Cygwin,记得cygwin安装中要把SSH选择上,因为后面Hadoop会用到,不详述cygwin的安装过程.我是安装在D:\cygwin下2.配置系统环境变量在windows命令行中输入unix命令,可以执行则说明cygwin和环境变量配置成功.3.打开D:\cygwin\Cygwin.bat,配置ssh,执行命令ssh-host-config因为我已经配置过,并用ssh服务已经启动,所以报错了,你们在配置的时候一路YES即可,有兴趣的也可以看一下英文说明,都配置了哪些东东.当看到"HAVE FUN"则表明配置成功.这时候会在你的系统上增加一个SSH服务, 阅读全文
posted @ 2013-02-22 18:12 remoteboy 阅读(1880) 评论(0) 推荐(1) 编辑