linux下安装hadoop
关键词:Ubuntu;hadoop;
注意:开始这一步之前,需安装Oracle的jdk,参见:
http://www.cnblogs.com/fengfengqingqingyangyang/archive/2012/11/06/2756981.html
1、下载hadoop的合适版本:http://labs.mop.com/apache-mirror/hadoop/common/
我下载的是hadoop-1.1.0.tar.gz
2、在/usr下创建hadoop目录,并将gz文件复制到hadoop目录下;
命令行下解压gz文件:tar -xzf hadoop-1.1.0.tar.gz
为方便管理,修改目录名:mv hadoop-1.1.0 hadoop
3、创建名为hadoop的用户组和用户
addgroup hadoop #用户组
adduser --ingroup hadoop hadoop
ps:创建用户时只需输入密码即可,其他回车选择默认
4、gedit打开sudoers文件,修改hadoop的权限:
gedit /etc/sudoers
ps:无法打开sudoers时,请切换至root再执行本条及以下语句。
在root ALL=(ALL)ALL语句之下添加如下一行后保存sudoers:
hadoop ALL=(ALL)ALL
PS:特别注意大小写!!!血和泪的教训告诉你linux中大小写的重要性!!!
5、创建ssh-key:
5.1、确保网络通畅,然后装载ssh服务
apt-get install openssh-server
注:如果此语句执行失败且结果为“....包被占用”的话,那么应该是ubuntu的“更新管理器”正在后台更新,关闭更新。
5.2、生成密钥
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa #其中‘’为两个而分号!
5.3、设置免密钥登陆
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
5.3、进入.ssh目录,执行$ssh localhost
cd /home
ssh localhost
注1: ssh密钥默认保存在/home/hadoop/.ssh里面,.ssh文件是隐藏文件,需要Ctrl+h才能见到。
注2:如果执行ssh localhost后,遇到这样的错误:
hadoop@ubuntu:~$ ssh localhost
ssh: connect to host localhost port 22: Connection refused
方法是:再安装一遍SSH
apt-get install openssh-server
6、配置hadoop
6.1、进入到hadoop目录下,配置conf目录下的hadoop-env.sh中的JAVA_HOME
$ cd /usr/hadoop/hadoop #根据你解压hadoop的位置而定
$ sudo gedit conf/hadoop-env.sh
(打开后在文档的上部某行有“#export JAVA_HOME=......”字样的地方,去掉“#”,然后在等号后面填写你的jdk路径,完全按此文档来的话应改为 " export JAVA_HOME=/usr/java/jdk1.6.0_34" )
6.2、配置conf目录下的core-site.xml
$ sudo gedit conf/core-site.xml
打开后标签<configuration> </configuration>中是空的,所以在空的地方加入如下配置:
Xml代码
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/hadoop/tmp</value> <!--这里为安装路径,并且要事先mkdir个temp目录-->
</property>
6.3、配置conf目录下的mapred-site.xml
$ sudo gedit conf/mapred-site.xml
打开后标签<configuration> </configuration>中也是空的,添加如下配置:
Xml代码
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
7、首次进入需格式化namenode:
7.1、先进入hadoop目录
$ cd /usr/hadoop/hadoop #与解压的hadoop包路径有关
7.2、格式化namenode
$ hadoop namenode -format
PS:如果hadoop没响应,切换到root模式查看/etc/profile文件中在配置jdk路径时的"export PATH=......."中是否有hadoop的路径,如果没有加上则添加,并重新启动即可:
hadoop如果仍旧不能用的话,不妨用带路径的命令方式:~/usr/hadoop/hadoop/bin/hadoop
PS:记得用echo $?查看是否执行成功:返回0说明成功;返回其他说明仍有错误!
8、启动hadoop进程:
bin/start-all.sh
PS:如果NameNode没有成功启动的话就要先执行"bin/stop-all.sh"停掉所有东西,然后重新格式化namenode
9、用jps查看打开的进程:
至此,单机的hadoop安装完毕!