Ubuntu 伪分布式安装

1. install ubuntun with user name gavin/gavin  in VM Ware.

2. in terminal, type sudo su, then type the password of current user, it will switch to user root

[安装完Ubuntu后忽然意识到没有设置root密码，不知道密码自然就无法进入根用户下。到网上搜了一下，原来是这麽回事。Ubuntu的默认root密码是随机的，即每次开机都有一个新的root密码。我们可以在终端输入命令 sudo passwd，然后输入当前用户的密码，enter，终端会提示我们输入新的密码并确认，此时的密码就是root新密码。修改成功后，输入命令 su root，再输入新的密码就ok了。]

3. create a folder java and give it all access,

sudo mkdir /usr/local/java

chmod 777 /usr/local/java

4. copy the downloaded java file to java folder.(drag and throw in the vmware)

jdk-7u9-linux-i586.tar.gz

5. untar java file

tar xzvf /usr/local/java/jdk-7u9-linux-i586.tar.gz

6. add envoriment variables to /etc/profile, 

gedit /etc/profile

below part to be added into profile file

export JAVA_HOME=/usr/local/java/jdk1.7.0_09     
export JRE_HOME=/usr/local/java/jdk1.7.0_09/jre  
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH  
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$JAVA_HOME:$PATH

7. activate the enviroment vairables

source /etc/profile

8. create hadoop user and user group

sudo addgroup hadoop
sudo adduser -ingroup hadoop hadoop
su to root (sudo su)
chmod 640 /etc/sudoers
gedit /etc/sudoers
在root   ALL=(ALL:ALL)   ALL下添加hadoop   ALL=(ALL:ALL)  ALL
chmod 440 /etc/sudoers
exit

9. install ssh service
sudo apt-get install openssh-server

switch to user  hadoop:
sudo -i -u hadoop

10.

建立ssh无密码登录本机
创建ssh-key，采用rsa方式:
ssh-keygen -t rsa
回车后会在~/.ssh/下生成两个文件：id_rsa和id_rsa.pub这两个文件是成对出现的
进入~/.ssh/目录下，将id_rsa.pub追加到authorized_keys授权文件中，开始是没有authorized_keys文件的
cat id_rsa.pub >> authorized_keys  or cp id_rsa.pub authorized_keys 
无密码登录localhost：
ssh localhost

for below, need use yes

The authenticity of host 'localhost (127.0.0.1)' can't be established.          ECDSA key fingerprint is 86:07:88:db:34:94:f8:09:6d:f4:7d:19:48:67:fe:e1.          Are you sure you want to continue connecting (yes/no)? yes

11.

install hadoop

cd /usr/local  在/usr/local下安装hadoop
sudo tar -xzf hadoop-0.20.2.tar.gz
sudo mv hadoop-0.20.2 hadoop
将该hadoop文件夹的属主用户设为hadoop:
sudo chown –R hadoop:hadoop hadoop(注意空格）
cd hadoop/conf/
配置conf/hadoop-env.sh，找到#export JAVA_HOME=...,去掉#，然后加上本机jdk的路径
vim hadoop-env.sh
编辑conf/core-site.xml文件：
<configuration>  
< property>   
  <name>fs.default.name</name>   
  <value>hdfs://localhost:9000</value>     
</property>   
< /configuration>   
编辑conf/mapred-site.xml文件：
    <configuration>   
     <property>     
      <name>mapred.job.tracker</name>   
      <value>localhost:9001</value>     
     </property>   
    </configuration>   
编辑conf/hdfs-site.xml文件：
    <configuration>  
    <property>  
    <name>dfs.name.dir</name>  
    <value>/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2</value>  
    </property>  
    <property>  
    <name>dfs.data.dir</name>  
    <value>/usr/local/hadoop/data1,/usr/local/hadoop/data2</value>  
    </property>  
    <property>  
    <name>dfs.replication</name>  
    <value>2</value>  
    </property>  
    </configuration>  
编辑conf/masters文件，添加作为secondarynamenode的主机名，单机版环境只需填写localhost。
编辑conf/slaves文件，添加作为slave的主机名，一行一个。单机版只需填写localhost。

 

 6.在单机上运行hadoop
首次运行,需格式化HDFS:（进入hadoop安装主目录）
bin/hadoop namenode -format
运行hadoop进程
bin/start-all.sh
jps 查看进程启动情况
查看 http://localhost:50030 ---for jobtracker  
http://localhost:50070 ---for namenode