hadoop单机安装与分布式安装

1.环境介绍

操作系统 centos6.5 64位

　　uname -a
　　Linux t1 2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux

 

2.安装jdk

wget http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.rpm
rpm -ivh jdk-7u79-linux-x64.rpm

设置环境变量

vi /etc/profile

在文件的最下面输入如下内容

#设置环境变量
export JAVA_HOME=/usr/local/jdk1.7.0_15
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

让设置生效 source /etc/profile

验证jdk是否安装成功 java -version

java version "1.7.0_15"
Java(TM) SE Runtime Environment (build 1.7.0_15-b03)
Java HotSpot(TM) 64-Bit Server VM (build 23.7-b01, mixed mode)

3.配置ssh免密码登录

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys 
#检测
ssh localhost

4.单节点方式配置

　直接启动hadoop无需配置，hadoop被认为是一个单独的java进程，调试的时候经常用这种方式。

5.伪分布式配置

指定jdk的位置

vi conf/hadoop-env.sh 

export JAVA_HOME="/usr/local/jdk1.7.0_15"

#配置hdfs地址

vi conf/core-site.xml

<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/home/hdp/tmp</value>
</property>

设置备份方式，单机版设置为1，集群中一般为3

vi conf/hdfs-site.xml

<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

#设置MapReduce任务中jobTracker的地址

<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>

#hdfs分卷格式化

bin/hadoop namenode -format

#启动hadoop

bin/start-all

6.验证

http://localhost:50030 (MapReduce的web页面)
http://localhost:50070 (hdfs的web页面)

jps

3474 JobTracker
3387 SecondaryNameNode
3167 NameNode
3277 DataNode
3633 Jps
3587 TaskTracker

 备注：可以只启动hdfs(start-dfs.sh)或 mapreduce (start-mapred.sh)

 

7.分布式安装

1)三台机器安装好jdk，被设置环境变量

2)设置主机名和ip之间的对应关系

vi /etc/host

127.0.0.1 localhost

192.168.1.2 master

192.168.1.3 slave1

192.168.1.4 slave2

vi /etc/hostname

#你的机器名（如master,slave1）

3)配置ssh免密码登录

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys 

scp authorized_keys hadoop@slave1:/home/hadoop/.ssh/
scp authorized_keys hadoop@slave2:/home/hadoop/.ssh/
#验证
ssh slave1
ssh slave2

4）配置hadoop

vi conf/core-site.xml

<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<!--hadoop存储数据的位置 此文件夹需手动创建-->
<value>/home/hadoop/tmp</value>
</property>


vi conf/hdfs-site.xml

<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

设置MapReduce任务中jobTracker的地址

<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
</property>

vi conf/masters
master

vi conf/slaves
slave1
slave2

5)启动

bin/hadoop namenode -format

bin/start-all

6)查看集群状态

bin/hadoop dfsadmin -report

http://master:50070

http://master:50030