RedHat9.0下搭建Hadoop引擎
1、安装操作系统
·安装虚拟机VMware,并在VM上安装RedHat9.0虚拟操作系统
3、安装JDK1.6
·下载JDK:jdk-6u32-linux-i586-rpm.bin 存放到/tmp下,
·安装JDK:./jdk-6u32-linux-i586-rpm.bin 执行后,会在/usr下生成java目录
·设置环境变量:vi /etc/profile
#JDK环境变量,设置后,可以通过java -version命令检测是否成功
export JAVA_HOME=/usr/java/jdk1.6.0_32
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:/sbin
#Hadoop环境变量(后续会用到),设置后,可以随处使用Hadoop命令
export HADOOP_HOME=/home/hadoop/hadoopinstall/hadoop-0.20.2
export PATH=$HADOOP_HOME/bin:$PATH
#注意:以上两行配置放在下面这行默认配置的前面
export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE INPUTRC
4、准备工作:
·copy已经装好的RedHat9虚拟操作系统文件,一台做主机master、一台做从机slave1
·修改MAC地址:系统设置->网络->编辑->硬件设备->探测
·配置IP地址:主机master:192.168.42.244;从机slave1:192.168.42.246
·修改主机名:
主机master:vi /etc/hosts
192.168.42.244 master master
192.168.42.246 slave1 slave1
从机slave1:vi /etc/hosts
192.168.42.246 slave1 slave1
192.168.42.244 master master
·创建用户:创建完后会在/home下生成/hadoop目录
主机master:hadoop/123456
从机slave1:hadoop/123456
·测试配置:
主机master: ping slave1
从机slave1:ping master
5、安装Hadoop
·下载:hadoop-0.20.2.tar.gz 存放到/home/hadoop/hadoopinstall下
·配置:解压 tar -zxvf hadoop-0.20.2.tar.gz 生成hadoop-0.20.2文件夹
·配置文件:/home/hadoop/hadoopinstall/hadoop-0.20.2/conf 6个文件
·配置完后:将整个hadoopinstall文件夹 通过scp命令 copy到slave1的/home/hadoop/目录下
core-site.xml,hdfs-site.xml,mapred-site.xml,masters,slaves, hadoop-env.sh六个文件 详细配置如下
6、测试Hadoop环境
通过root用户登入master主机;
hadoop name -format 格式化
start-all.sh启动所有服务:
启动时 会提示 多次输入 master root用户密码 或者 slave1用户密码,
因此要进行SSH无密码验证设置,可以上网找找相关设置;
root用户登陆到master
执行:ssh-keygen -t rsa 然后一路回车
会在/root/.ssh里生成两个文件 id_rsa.pub,id_rsa
cp id_rsa.pub authorized_keys
scp /root/.ssh/authorized_keys root@slave1:/root/.ssh/ 复制到slave1机器
完后,在启动或者停止hadoop时就不用多次输入密码了!
主机master:输入jps命令 会看到启动的服务:namenode、jobTracker、secondnamenode
从机slave1:输入jps命令 会看到启动的服务:datanode、taskTracker
stop-all.sh停止所有服务:
http://192.168.42.244:50070/ 会看到 有一个活动的node节点
输入hadoop相关操作文件的命令
hadoop fs -put /home/hadoop/hadoopintall/hadoop-0.20.2.tar.gz test.jar //讲hadoop 压缩包 存储到HDFS文件系统里
参考连接:
http://www.kuqin.com/system-analysis/20081023/24034.html
http://www.iteye.com/topic/365168
http://galpha.iteye.com/blog/1044355
http://hi.baidu.com/yuweiming/blog/item/6bf4242db074c420359bf744.html
radhat UI界面加载不了