ubuntu上hadoop 单节点伪分布式安装测试

第一步，创建用户 uhadoop

以root用户登录系统，执行一下命令

adduser uhadoop

 

第二步，配置环境变量
以uhadoop用户登录系统

 

 

把alias ll='ls -alF' 改为 

保存退出。

 

下载JDK，配置环境变量

打开http://www.oracle.com/technetwork/java/javase/downloads/index-jsp-138363.html

 

mkdir backup; cd backup; wget http://download.oracle.com/otn-pub/java/jdk/8u60-b27/jdk-8u60-linux-i586.tar.gz?AuthParam=1444199484_56b33029c564da077181136175621664

 

 

 

保存退出

 

JDK安装，配置完成。

 

 

第三步，官网下载hadoop

打开http://hadoop.apache.org/releases.html

 

点击 Version2.6.1 的 binary Tarball

 

 

复制完下载链接后，执行

 

mkdir backup; cd backup; wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.6.1/hadoop-2.6.1.tar.gz

 

tar xf hadoop-2.6.1.tar.gz

文件比较多，解压需要时间

 

 

 

ssh免密码登录

 

ssh免密码登录 配置完成。

 

第四步，修改hadoop配置

 

Local (Standalone) Mode 配置完成，测试

uhadoop@hadoop:~$ mkdir input
uhadoop@hadoop:~$ cp hadoop/etc/hadoop/*.xml input

uhadoop@hadoop:~$ hadoop/bin/hadoop jar hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.1.jar grep input/ output 'dfs[a-z]+'

执行完毕，查看结果

 

 

 

 

 

Pseudo-Distributed Mode配置

参考 http://hadoop.apache.org/docs/r2.6.1/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation

Configuration

Use the following:

etc/hadoop/core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

etc/hadoop/hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

配置完成，hdfs 格式化

 

格式化完成。

 

启动namdenode 和 datanode

启动完成。

 

打开http://192.168.1.110:50070/

 

 

在hdfs 中创建目录，上传文件

uhadoop@hadoop:~/hadoop$ bin/hdfs dfs -mkdir /user

uhadoop@hadoop:~/hadoop$ bin/hdfs dfs -mkdir /user/uhadoop

uhadoop@hadoop:~/hadoop$ bin/hdfs dfs -put etc/hadoop/ input

uhadoop@hadoop:~/hadoop$ bin/hdfs dfs -ls -R /

 

 

运行测试例子

uhadoop@hadoop:~/hadoop$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.1.jar grep input/ output 'dfs[a-z]+'

 

查看结果

uhadoop@hadoop:~/hadoop$ bin/hdfs dfs -ls /user/uhadoop/output

 

 

over