Hadoop-安装过程-单虚拟机版(伪分布式)(Ubuntu13.04版本下安装)
由于新装的Ubutu默认情况下,系统只安装了SSH客户端,需要自行安装SSH服务端
如何确定是否安装了SSH服务端?
可以通过命令ssh localhost,结果如下,即未安装SSH服务端:
![](http://images0.cnblogs.com/blog/524610/201404/200317063225300.png)
安装SSH服务端:
sudo apt-get install openssh-server
在安装时,没有设置root密码,所以必须在安装完成进行设置后才能进入root用户
命令如下:
$ sudo passwd root
输入你希望的root用户的密码
1、关闭防火墙
![](http://images0.cnblogs.com/blog/524610/201404/200317073071601.png)
不管你在安装linux时是否启动了防火墙,如果你想配置属于自己的防火墙,那就清除现在filter的所有规则.
[root@tp ~]# iptables -F 清除预设表filter中的所有规则链的规则
[root@tp ~]# iptables -X 清除预设表filter中使用者自定链中的规则
[root@tp ~]# iptables -X 清除预设表filter中使用者自定链中的规则
![](http://images0.cnblogs.com/blog/524610/201404/200317075102072.png)
2、普通用户下添加grid用户
![](http://images0.cnblogs.com/blog/524610/201404/200317089321071.png)
将grid添加到sudo:
![](http://images0.cnblogs.com/blog/524610/201404/200317098383927.png)
以下这段应该没什么作用,可以不用理会,如果遇到问题再回来设置
Linux 通过 命令行 增加用户 ,
(1) 打开终端 输入 sudo -r useradd 用户名 /* -r 参数建立系统用户
(2) 输入 sudo useradd -g root 用户名 /*这一行的命令是让你的刚刚建立的 用户 划分到 root 权限组下
(3)sudo passwd 用户名 /*设置你刚刚建立的密码
删除:
终端方法:以下用newuser代替想要删除的用户账户
在root用户下:userdel -r newuser
在普通用户下:sudo userdel -r newuser
因为你需要彻底删除用户,所以加上-r的选项,在删除用户的同时一起把这个用户的宿主目录和邮件目录删除。
3、将通过mv命令将安装包移动到grid用户下
![](http://images0.cnblogs.com/blog/524610/201404/200317102608098.png)
![](http://images0.cnblogs.com/blog/524610/201404/200317104638569.png)
4、配置JDK环境变量:
设置全局环境变量:
命令:sudo gedit /etc/profile
在文件末尾添加下面内容:(注意没有空格)
export JAVA_HOME=/usr/jdk
export JRE_HOME=/usr/jdk/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
重启JDK环境变量配置生效
配置默认JDK版本
由于ubuntu中可能会有默认的JDK,如openjdk,所以,为了将我们安装的JDK设置为默认JDK版本,还要进行如下工作。执行代码:
- sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/java-7-sun/bin/java 300
- sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/java-7-sun/bin/javac 300
- sudo update-alternatives --install /usr/bin/jar jar /usr/lib/jvm/java-7-sun/bin/jar 300
- sudo update-alternatives --install /usr/bin/javah javah /usr/lib/jvm/java-7-sun/bin/javah 300
- sudo update-alternatives --install /usr/bin/javap javap /usr/lib/jvm/java-7-sun/bin/javap 300
执行代码:
- sudo update-alternatives --config java
系统会列出各种JDK版本,如下所示:
- liujl@liujl:~$ sudo update-alternatives --config java
- 有 3 个候选项可用于替换 java (提供 /usr/bin/java)。
- 选择 路径 优先级 状态
- ------------------------------------------------------------
- * 0 /usr/lib/jvm/java-6-openjdk/jre/bin/java 1061 自动模式
- 1 /usr/lib/jvm/java-6-openjdk/jre/bin/java 1061 手动模式
- 2 /usr/lib/jvm/java-6-sun/jre/bin/java 63 手动模式
- 3 /usr/lib/jvm/java-7-sun/bin/java 300 手动模式
- 要维持当前值[*]请按回车键,或者键入选择的编号:3
- update-alternatives: 使用 /usr/lib/jvm/java-7-sun/bin/java 来提供 /usr/bin/java (java),于 手动模式 中。
如果提示:There is only one alternative in link group java (providing /usr/bin/java): /usr/lib/jvm/java-7-sun/bin/java
说明只有一种你自己安装的JDK版本。
测试
- liujl@liujl:~$ java -version java version "1.7.0_45"
Java(TM) SE Runtime Environment (build 1.7.0_45-b18)
Java HotSpot(TM) 64-Bit Server VM (build 24.45-b08, mixed mode)
SSH免密码登录
退出root,进入grid :su grid
生成密钥:ssh-keygen -t rsa
![](http://images0.cnblogs.com/blog/524610/201404/200317119006096.png)
![](http://images0.cnblogs.com/blog/524610/201404/200317121977539.png)
生成密钥:
![](http://images0.cnblogs.com/blog/524610/201404/200317125889953.png)
安装和配置Hadoop:
1、解压hadoop安装包:tar -xzvf hadoop-1.2.1-bin.tar.gz
2、进入hadoop
![](http://images0.cnblogs.com/blog/524610/201404/200317139479737.png)
3、进入conf目录
![](http://images0.cnblogs.com/blog/524610/201404/200317143383152.png)
修改hadoop-env.sh,
![](http://images0.cnblogs.com/blog/524610/201404/200317145576852.png)
将JAVA_HONG改为JDK安装目录,注意将#去掉:
![](http://images0.cnblogs.com/blog/524610/201404/200317159329865.png)
修改core-site.xml,
![](http://images0.cnblogs.com/blog/524610/201404/200317161508864.png)
设置namenode节点:
![](http://images0.cnblogs.com/blog/524610/201404/200317164634536.png)
修改hdfs-site.xml:
![](http://images0.cnblogs.com/blog/524610/201404/200317166828236.png)
![](http://images0.cnblogs.com/blog/524610/201404/200317169161465.png)
修改mapred-site.xml:
![](http://images0.cnblogs.com/blog/524610/201404/200317174786891.png)
![](http://images0.cnblogs.com/blog/524610/201404/200317177758334.png)
所有的节点都修改/etc/hosts,使彼此之间都能把主机名解析为IP,需转到root用户下修改。(伪分布式不需要修改此文件)
![](http://images0.cnblogs.com/blog/524610/201404/200317191036362.png)
修改masters和slaves文件,如果里面已经存在内容则不需要修改
![](http://images0.cnblogs.com/blog/524610/201404/200317193696048.png)
格式化分布式文件系统:
![](http://images0.cnblogs.com/blog/524610/201404/200317218859846.png)
启动守护进程
![](http://images0.cnblogs.com/blog/524610/201404/200317226031760.png)
检查守护进程启动情况:
![](http://images0.cnblogs.com/blog/524610/201404/200317238532044.png)
验证安装是否成功:
打开浏览器,分别输入以下网址:
http://localhost:50030(MapReduce的Web页面)
![](http://images0.cnblogs.com/blog/524610/201404/200317247134616.png)
http://localhost:50070(HDFS的Web页面)
![](http://images0.cnblogs.com/blog/524610/201404/200317265251328.png)
到此,恭喜安装成功了!!!
一分耕耘一分收获