VirtualBox+ubuntu+hadoop环境搭建

第一步：安装VirtualBox.

安装软件的话自己到网上去download吧！此处我用的是VirtualBox 4.1.8。

第二步：安装ubuntu.

安装软件可以自己从网上download，此处我用的是ubuntu-10.10-desktop-i386。

剩下的具体安装过程就可以仿照以下网址了：

http://sjsky.iteye.com/blog/1123907。

（此处做了一个设置，可以方便的将自己本机上的东西拷贝到虚拟机上，实现主机和虚拟机之间的通信：

在自己电脑上面建一个文件夹，比如ubuntu，然后右击选共享-特定用户，选择你登陆自己电脑用的用户，点击共享-完成，到虚拟机中从菜单中选择Places-Connect to Server，Service type选择Windows share，Server填写自己本机上网络VMware Network Adapter的IP，点connect，如何此处要求输入用户名和密码，则为自己本机登陆的用户名和密码，然后就可以看到自己共享的文件夹了）

第三步：安装jdk.

1. 

从http://www.oracle.com/technetwork/java/javase/downloads/jdk-7u3-download-1501626.html下载相关的jdk，此处为：jdk-6u27-linux-i586.bin，在ubuntu中创建目录例如 /home/michael/java，然后将jdk-6u27-linux-i586.bin拷贝到此目录，用sudo chmod 777 jdk-6u27-linux-i586.bin更改执行权限，然后用./jdk-6u27-linux-i586.bin执行.

2.

配置jdk环境变量.

（此处要用到vi但是ubuntu的vi超级不好用，所以要进行安装。首先用sudo apt-get removevim-common将系统自带的vim卸载掉，然后执行sudo apt-get install vim进行安装，如果此处有错误提示，那就先执行sudo ap-get update然后再执行sudo apt-get install vim。由于我是在公司进行安装的，而公司的网络用了代理，因此在此处纠结了很久，依次执行如下命令：

sudo apt-get removevim-common;

sudo bash –c ‘http_proxy=”http://<proxy_host>:<proxy_port>/” apt-get update’;

sudo bash –c ‘http_proxy=”http://<proxy_host>:<proxy_port>/” apt-get install vim’;

）

执行sudo vi /etc/profile，在文件最后加入如下内容：

JAVA_HOME='/home/michael/java/jdk1.6.0_27'

PATH=$JAVA_HOME/bin:$PATH

CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar

export PATH JAVA_HOME CLASSPATH

保存退出。

3.

输入java –version，若出现java version “1.6.0_27”，表示安装成功。

（在此步，如果最后得出的java版本不是你自己安装的版本可能是由于系统安装了多个版本的jdk，而你自己安装的jdk又没有被设置为默认的所导致的，此时进行三步操作即可搞定：update-alternatives --install /usr/bin/java java /home/michael/java/jdk1.6.0_27/bin/java 300

update-alternatives --install /usr/bin/javac javac /home/michael/java/jdk1.6.0_27/bin/javac 300 

update-alternatives --config java

）

第四步：安装hadoop.

从http://hadoop.apache.org/上下载hadoop安装文件，此处我用的hadoop-0.21.0.tar.zip，在ubuntu中创建目录例如 /home/michael/hadoop，然后将hadoop-0.21.0.tar.zip拷贝到此目录，运行命令sudo unzip hadoop-0.21.0.tar.zip ,sudo gzip -d hadoop-0.21.0.tar.gz ,

sudo chmod 777 hadoop-0.21.0.tar , tar xvf hadoop-0.21.0.tar 将此文件解压。（此时必须用root用户改变tar包的权限，用miachel对tar包进行解压，不然之后在执行bin/start-all.sh时会有错误出现）。

进入目录/home/michael/hadoop/hadoop-0.21.0/conf做相关配置：

hadoop-env.sh

将其中#export JAVA_HOME=xxxxx修改为export JAVA_HOME=/home/michael/java/jdk1.6.0_27，由于这里的JAVA_HOME不是用的默认配置，故此行的注释符号#要去掉。

conf/core-site.xml:

<configuration>

     <property>

         <name>fs.default.name</name>

         <value>hdfs://localhost:9000</value>

     </property>

</configuration>

conf/hdfs-site.xml:

<configuration>

     <property>

         <name>dfs.replication</name>

         <value>1</value>

     </property>

</configuration>

conf/mapred-site.xml:

<configuration>

     <property>

         <name>mapred.job.tracker</name>

         <value>localhost:9001</value>

     </property>

</configuration>

第五步：部署ssh key无密码登陆.

鉴于VMware+Redhat+hadoop环境搭建时部署ssh遇到的问题，此处尝试直接用dsa进行部署，执行 ssh-keygen –t dsa 

         cat /home/michael/.ssh/id_dsa.pub >> /home/michael/.ssh/authorized_keys

然后用ssh localhost进行查看是否部署成功。

1.如出现错误提示：ssh:connect to host localhost port 22:connection refused，则有可能是你的ubuntu中没有安装ssh，具体的安装步骤如下：

到 https://launchpad.net/ubuntu/lucid/i386/openssh-client/1:5.3p1-3ubuntu3。

下载文件” openssh-client_5.3p1-3ubuntu3_i386.deb ”并在终端中安装。

sudo dpkg -i openssh-client_5.3p1-3ubuntu3_i386.deb 

到https://launchpad.net/ubuntu/lucid/i386/openssh-server/1:5.3p1-3ubuntu3。

下载文件” openssh-server_5.3p1-3ubuntu3_i386.deb”并在终端中安装。
sudo dpkg -i openssh-server_5.3p1-3ubuntu3_i386.deb

 

到https://launchpad.net/ubuntu/lucid/i386/ssh/1:5.3p1-3ubuntu3。

下载文件”ssh_5.3p1-3ubuntu3_all.deb””并在终端中安装。
sudo dpkg -i ssh_5.3p1-3ubuntu3_all.deb

2.若出现错误提示：Agent admitted failure to sign using the key，解决方式使用ssh-add指令将私钥加进来：ssh-add /home/michael/.ssh/id_dsa。

（由于在VMware+Redhat+hadoop环境搭建时部署ssh遇到的权限问题，所以此处也进行了更改权限操作，但是有没有必要就不知道了chmod 755  /home/michael/.ssh，chmod 600  /home/michael/.ssh/authorized_keys）。

执行完上述操作，再次验证ssh localhost就应该没有什么问题了。  

（此时可以根据官网的上方法运行第一个例子了，或者此文档的最后一部分有详细的步骤如何执行第一个例子wordcount）

第六步：在Eclipse下运行hadoop。

分两大步：

第一步：在Linux下安装eclipse

1.首先下载linux下的Eclipse安装包。（尽量选择3.3以上的版本）

2.将下载的Eclipse安装包拷贝到虚拟机上，然后用tar –zxvf XXXX.tar.gz命令将压缩包解压。（我是拷贝到/home/michael目录，然后直接进行解压）

3.解压后会出现eclipse文件夹。此处会有/home/michael/eclipse目录出现。

4.接下来，为eclipse创建一个图形界面快速启动项（类似于windows下的桌面快捷方式），右击图形界面—>选择“新建启动器（New Launcher）”—>名称（Name）输入Eclipse—>命令（Command）选择Eclipse解压目录/home/michael/eclipse/eclipse—>图标（Icon）可以选择Eclipse的图标—>点击确定完成，然后你就可以双击图形界面中的快速启动来启动你的eclipse了，当然也可以在shell下执行eclipse根目录下的执行文件来启动eclipse！eclipse启动后还需要一些必要的配置，这里就不讲了。

第二步：安装hadoop eclipse plugin插件

我用的hadoop是0.21.0，是没有eclipse-hadoop的plugin的，看网上有人介绍了相应的方法如何创建于自己版本想对应的plugin的方法，具体方法自己上网去搜。

我安装时用的plugin是从别人那拷贝过来的：hadoop-0.21.0-eclipse-plugin-3.6.rar，其实解压后只是一个jar文件：hadoop-0.21.0-eclipse-plugin-3.6.jar。

1.将解压后的jar文件拷贝到/home/michael/eclipse/plugins下，并且更改其权限（chmod 777 hadoop-0.21.0-eclipse-plugin-3.6.jar）。

2.启动eclipse。（如果之前eclipse是开着的，此处就重新启动）

3.点击Windows—>Preference—>Hadoop Map/Reduce，配置Hadoop Install Directory，此处为/home/michael/hadoop/hadoop-0.21.0,。

4.点击Windows—>Open Perspective—>Other，选择蓝大象Map/Reduce，点击OK。

5.点击Windows—>Show View—>Other，选择MapReduce Tool—>Map/Reduce Location。

6.在下方窗口中出现的黄大象Map/Reduce Location空白处，右击选择New Map/Reduce Location。

7.在弹出来的对话框里，根据core-site.xml和mapred-site.xml里的端口，进行填写，其中Location name任意。（此处为9000和9001）

8.在左侧窗口中的Project Explorer里，点击DFS Location，就会出现HDFS的目录级。

（此处参考网址：http://hi.baidu.com/lingsuch/blog/item/c374fdecda19e82127979198.html）