hadoop伪分布环境搭建

Hadoop伪分布环境搭建（网易云课堂hadoop大数据实战学习笔记）

工具：VMware WorkStation 8.0.2；

CentOS6.4；

hadoop-1.1.2.tar.gz;

Xshell 4，作为登录工具，可以不启动CentOS的GUI（实验机的配置较低，可以省资源），“远程登录”CentOS；

1、root登录，安装jdk，直接看结果，安装过程和环境变量配置不再细说；

2、设置SSH免密码登录；

（1）关闭防火墙；

service iptables stop 或者 setup

查看状态：service iptables status

(2)设置DNS解析

vim /etc/hosts ip 主机名（这里出错了，后面有解释）

（3）vim /etc/selinux/config

ssh-keygen -t dsa 一直回车；

cd ~/.ssh

cat id_dsa.pub >> authorized_keys

测试是否成功：ssh localhost，没有输密码，免密码登录

3、安装hadoop;

cd /usr/local;

tar -xzvf hadoop-1.1.2.tar.gz ;

mv hadoop-1.1.2 hadoop;

配置Hadoop的环境变量：

export HADOOP_HOME=/usr/local/hadoop

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

修改配置文件：

(1)hadoop-env.sh

更改java_home 变量

(2)core-site.xml　　

 1 <configuration>
 2  <property>
 3         <name>fs.default.name</name>
 4         <value>hdfs://hadoop0:9000</value>
 5  </property>
 6  <property>
 7         <name>hadoop.tmp.dir</name>
 8         <value>/usr/local/hadoop/hadoop_${user.name}</value>
 9  </property>
10 </configuration>

(3)hdfs-site.xml　　　

 1  <configuration>
 2  2         <property>
 3  3                 <name>dfs.replication</name>
 4  4                 <value>1</value>                                 //实验环境，备份设置为1
 5  5         </property>
 6  6         <property>
 7  7                 <name>dfs.permissions</name>
 8  8                 <value>false</value>                            //实验环境，不设置权限
 9  9         </property>    
10 10 </configuration>

(4)vim mapred-site.xml

1  <configuration>
2         <property>
3                 <name>mapred.job.tracker</name>
4                 <value>hadoop0:9001</value>
5         </property>
6 </configuration>