ubuntu下安装hadoop

Ubuntu版本是14.04 LTS。

安装Hadoop之前需要安装JDK，安装方法参见另一篇博文Ubuntu12.04中安装Oracle JDK和NetBeans的方法

首先，去官网下载Hadoop安装包

http://www.apache.org/dyn/closer.cgi/hadoop/common/

我下载的是hadoop-1.2.1.tar.gz。

1、创建管理用帐号

在终端中执行如下命令：

1 sudo adduser hadoop

然后根据提示设置账号密码。接着打开“用户账户”对话框，将hadoop用户的账户类型由“标准”改为“管理员”。

2、安装ssh服务

首先在终端中输入如下命令切换到hadoop用户：

1 su - hadoop

接下来安装ssh服务：

1 sudo apt-get install ssh openssh-server

3、ssh无密码验证登陆

创建ssh-key，采用rsa方法，输入如下命令：

1 ssh-keygen -t rsa -P ""
1 cat /home/hadoop/.ssh/id_rsa.pub >> /home/hadoop/.ssh/authorized_keys

然后就可以无密码验证登陆了，输入如下命令进行测试：

1 ssh localhost

退出命令为：

1 exit

4、解压Hadoop安装包

首先，把源代码包复制到/home/hadoop/目录下：

1 cp hadoop-1.2.1.tar.gz /home/hadoop

然后解压缩：

1 tar -xzvf hadoop-1.2.1.tar.gz

5、配置hadoop的hadoop-env.sh，core-site.xml，mapred-site.xml，hdfs-site.xml

配置hadoop-env.sh，打开文件：

1 sudo vim /home/hadoop/hadoop-1.2.1/conf/hadoop-env.sh

找到export JAVA_HOME，去掉前面的#号，加上JDK路径，保存退出。

配置core-site.xml，打开文件：

1 sudo vim /home/hadoop/hadoop-1.2.1/conf/core-site.xml

将如下<configuration></configuration>之前的内容添加进去，保存退出：

 1 <?xml version="1.0"?>
 2 <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 3 
 4 <!-- Put site-specific property overrides in this file. -->
 5 
 6 <configuration>
 7         <property>
 8             <name>fs.default.name</name>
 9             <value>hdfs://localhost:9000</value>
10         </property>
11     <property>
12           <name>hadoop.tmp.dir</name>
13           <value>/home/hadoop/hadoop-1.2.1/tmp</value>
14          <description>A base for other temporary directories.</description>
15     </property>
16 
17 
18 </configuration>

配置mapred-site.xml，打开文件：

1 sudo vim /home/hadoop/hadoop-1.2.1/conf/mapred-site.xml

将如下<configuration></configuration>之前的内容添加进去，保存退出：

 1 <?xml version="1.0"?>
 2 <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 3 
 4 <!-- Put site-specific property overrides in this file. -->
 5 
 6 <configuration>
 7     <property>
 8         <name>mapred.job.tracker</name>
 9         <value>localhost:9001</value>
10     </property>
11 </configuration>

配置hdfs-site.xml，打开文件：

1 sudo vim /home/hadoop/hadoop-1.2.1/conf/hdfs-site.xml

将如下<configuration></configuration>之前的内容添加进去，保存退出：

 1 <?xml version="1.0"?>
 2 <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 3 
 4 <!-- Put site-specific property overrides in this file. -->
 5 
 6 <configuration>
 7     <property>
 8         <name>dfs.replication</name>
 9         <value>1</value>
10     </property>
11 
12 </configuration>

至此Hadoop的安装配置已经完毕。

6、格式化hdfs文件系统

进入hadoop-1.2.1，执行：

1 ./bin/hadoop namenode -format

7、启动hadoop服务

启动服务：

1 ./bin/start-all.sh

查看Java虚拟机运行的线程：

1 jps

除了Jps，有5个hadoop相关的线程，说明hadoop运行正常。

退出hadoop：

1 ./bin/stop-all.sh

posted on 2014-07-23 17:09  Youg  阅读(561)  评论(0)  编辑  收藏  举报

导航