VMware+Redhat+Hadoop环境搭建

第一步:安装VMware.

VMware Workstation 8 下载的话自己到网上download吧!

http://www.vmware.com/cn

可用的序列号:

MV4YN-0L38Q-2ZK60-XUA7K-AAZ18 

0V6UY-4Z29L-8ZNQ1-R80QK-ACWL6

HU4R3-FEKDP-GZDQ1-Z90Q4-0CQH8 

4A25F-4010Q-5ZQJ9-21CNH-AATJH

第二步:安装Redhat.

我是用的公司的DVD1RedHat Enterprise Linux  server 5.564位)安装的,可以自己从网上download,按照提示一步一步安装就可以了。

(此处做了一个设置,可以方便的将自己本机上的东西拷贝到虚拟机上,既实现本机和虚拟机之间的通信:

在自己电脑上面建一个文件夹,比如redhat,然后右击选共享-特定用户,选择你登陆自己电脑用的用户,点击共享-完成,到虚拟机中从菜单中选择Places-Conect to ServerService type选择Windows shareServer填写自己本机上网络VMware Network AdapterIP,点connect,如何此处要求输入用户名和密码,则为自己本机登陆的用户名和密码,然后就可以看到自己共享的文件夹了,或者安装FileZilla客户端也可以)

第三步:安装jdk.

1. 

http://www.oracle.com/technetwork/java/javase/downloads/jdk-7u3-download-1501626.html下载相关的jdk,此处为:jdk-7u3-linux-x64.rpm,在redhat中创建目录例如 /home/jing/java,然后将jdk-7u3-linux-x64.rpm拷贝到此目录,更改执行权限,然后执行

rpm –ivh jdk-7u3-linux-x64.rpm (此处用root执行的,用用户jing当时报了错),执行成功后,在/usr下会增加一个名为java的目录,这个是安装好的jdk的目录。

2.

配置jdk环境变量.

执行vi /etc/profile,找到export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE INPUTRC,然后将其替换为

JAVA_HOME='/usr/java/jdk1.7.0_03'

PATH=$JAVA_HOME/bin:$PATH

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH JAVA_HOME CLASSPATH

保存退出。

重启redhat或者执行source /etc/profile 使配置文件立即生效。(执行source只是对当前窗口有效

3.

输入java –version,若出现java version “1.7.0_03”,表示安装成功。

第四步:安装hadoop.

http://hadoop.apache.org/上下载hadoop安装文件,此处我用的hadoop-0.21.0.tar.zip,在redhat中创建目录例如 /home/jing/hadoop,然后将hadoop-0.21.0.tar.zip拷贝到此目录,运行命令unzip hadoop-0.21.0.tar.zip , gzip -d hadoop-0.21.0.tar.gz , tar xvf hadoop-0.21.0.tar 将此文件解压。

进入目录/home/jing/hadoop/hadoop-0.21.0/conf做相关配置:

hadoop-env.sh

将其中#export JAVA_HOME=xxxxx修改为export JAVA_HOME=/home/jing/java/jdk1.6.0_27,由于这里的JAVA_HOME不是用的默认配置,故此行的注释符号#要去掉。

conf/core-site.xml:

<configuration>

     <property>

         <name>fs.default.name</name>

         <value>hdfs://localhost:9000</value>

     </property>

</configuration>


conf/hdfs-site.xml:

<configuration>

     <property>

         <name>dfs.replication</name>

         <value>1</value>

     </property>

</configuration>


conf/mapred-site.xml:

<configuration>

     <property>

         <name>mapred.job.tracker</name>

         <value>localhost:9001</value>

     </property>

</configuration>

第五步:部署ssh key无密码登陆.

(此处纠结了很久,用rsa是可用的,但是用dsa老是有问题,最后揪出来竟然是权限问题,哎~几度悲桑)

执行命令ssh-keygen  –t  dsa 

        cat  ~/.ssh/id_dsa.pub  >>  ~/.ssh/authorized_keys 

        chmod 755  ~/.ssh

        chmod 600  ~/.ssh/authorized_keys

        若用rsa则为

ssh-keygen  –t  rsa 

        cat  ~/.ssh/id_rsa.pub  >>  ~/.ssh/authorized_keys

利用ssh localhost 验证是否部署成功。

(此时可以根据hadoop官网上的方法运行第一个例子了,此文档最后一部分讲述了如何执行第一个例子wordcount)

第六步:在Eclipse下运行hadoop

分两大步:

第一步:在Linux下安装eclipse

1.首先下载linux下的Eclipse安装包。(尽量选择3.3以上的版本)

2.将下载的Eclipse安装包拷贝到虚拟机上,然后用tar –zxvf XXXX.tar.gz命令将压缩包解压。(我是拷贝到/home/jing目录,然后直接进行解压)

3.解压后会出现eclipse文件夹。此处会有/home/jing/eclipse目录出现。

4.接下来,为eclipse创建一个图形界面快速启动项(类似于windows下的桌面快捷方式),右击图形界面—>选择“新建启动器(New Launcher)”—>名称(Name)输入Eclipse—>命令(Command)选择Eclipse解压目录/home/jing/eclipse/eclipse>图标(Icon)可以选择Eclipse的图标>点击确定完成,然后你就可以双击图形界面中的快速启动来启动你的eclipse了,当然也可以在shell下执行eclipse根目录下的执行文件来启动eclipse!eclipse启动后还需要一些必要的配置,这里就不讲了

第二步:安装hadoop eclipse plugin插件

我用的hadoop0.21.0,是没有eclipse-hadoopplugin的,看网上有人介绍了相应的方法如何创建于自己版本想对应的plugin的方法,具体方法自己上网去搜。

我安装时用的plugin是从别人那拷贝过来的:hadoop-0.21.0-eclipse-plugin-3.6.rar,其实解压后只是一个jar文件:hadoop-0.21.0-eclipse-plugin-3.6.jar。

1.将解压后的jar文件拷贝到/home/jing/eclipse/plugins下,并且更改其权限(chmod 777 hadoop-0.21.0-eclipse-plugin-3.6.jar)。

2.启动eclipse。(如果之前eclipse是开着的,此处就重新启动)

3.点击Windows>Preference>Hadoop Map/Reduce,配置Hadoop Install Directory,此处为/home/jing/hadoop/hadoop-0.21.0,

4.点击Windows>Open Perspective>Other,选择蓝大象Map/Reduce,点击OK

5.点击Windows>Show View>Other,选择MapReduce Tool>Map/Reduce Location

6.在下方窗口中出现的黄大象Map/Reduce Location空白处,右击选择New Map/Reduce Location

7.在弹出来的对话框里,根据core-site.xmlmapred-site.xml里的端口,进行填写,其中Location name任意。

8.在左侧窗口中的Project Explorer里,点击DFS Location,就会出现HDFS的目录级。

(此处参考网址:http://hi.baidu.com/lingsuch/blog/item/c374fdecda19e82127979198.html

(可能会出现在eclipse中刷不出DFS的目录的问题,最好在core-site.xmlmapred-site.xml中将localhost改为IPifconfig -a查到的IP)同时将slavesmaster中的主机名也改为IP,并且要保证你的hadoop的守护进程是起来的

posted on 2012-11-17 20:41  此案彼岸  阅读(564)  评论(0编辑  收藏  举报

导航