单机版Hadoop部署

 单机模式

 Hadoop的单机模式安装非常简称

　　— 获取软件

　　　　 http://hadoop.apache.org

　　— 安装配置java环境，安装jps工具

　　　　  安装Openjdk和Openjdk-devel

　　— 设置环境变量，启动运行

　　— hadoop-env.sh

　　　　JAVA_HOME="JAVA安装路径"

　　　　HADOOP_CONF_DIR="haddop配置文件路径"

 

 安装环境
[root@VM-10-162-centos ~]# yum list | grep openjdk

[root@VM-10-162-centos ~]#yum install  java-11-openjdk.x86_64  

[root@VM-10-162-centos ~]#yum install java-1.8.0-openjdk-devel.x86_64 

安装后输入jps，每次输入jps的pid进程都不一致

[root@VM-10-162-centos ~]# jps

 

获取hadoop软件在官网直接下载

http://hadoop.apache.org

下载好了就解压tar -zxf 

[root@VM-10-162-centos ~]# tar -zxf  hadoop-2.7.7.tar.gz 

[root@VM-10-162-centos ~]# mv hadoop-2.7.7  /usr/local/hadoop/

[root@VM-10-162-centos /usr/local/hadoop]# ./bin/hadoop 

直接执行会提示，JAVA_HOME未设置，重新定义一下路径

 

[root@VM-10-162-centos ~]# rpm -ql java-1.7.0-openjdk 

/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.261-2.6.22.2.tl2.x86_64/jre

 

vim进入配置文件，配置java路径和hadoop文件配置路径

[root@VM-10-162-centos ~]# vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh

export JAVA_HOME=#"/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.261-2.6.22.2.tl2.x86_64/jre/"

export HADOOP_CONF_DIR="/usr/local/hadoop/etc/hadoop/"

 

 

 配置好了，我们执行hadoop

[root@VM-10-162-centos /usr/local/hadoop]# mkdir oo

[root@VM-10-162-centos /usr/local/hadoop]#mv *.txt  oo/

[root@VM-10-162-centos /usr/local/hadoop]# ./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar  wordcount  oo  xx

 执行命令解释：

 ./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar  wordcount  oo  xx

(./bin/hadoop) hadoop执行文件 （jar） 文件类型　(share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar )  jar脚本执行 （wordcount ）脚本的方法对比英文个数（oo）分析的文件  （xx）分析成功的文件

 文件生成_SUCCESS说明已经成功了

 数据分析英文个数

[root@VM-10-162-centos /usr/local/hadoop]# cat xx/*