Hadoop 部署
hadoop部署步骤：
环境rhel8.2
1.配置主机网络信息
使物理机能和主机ping通
使用secureCRT与虚拟连接
设置网卡(dhcp)
[root@maoqiyang ~]# nmcli device connect ens160
Device 'ens160' successfully activated with '4a5b3266-42ad-4e0f-a17d-8f200cc67def'.
2.设置主机名，绑定主机名与ip地址
[root@maoqiyang ~]# hostnamectl set-hostname maoqiyang
[root@maoqiyang ~]# bash
[root@maoqiyang ~]# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
172.16.0.99 maoqiyang
[root@maoqiyang ~]# ping maoqiyang
PING maoqiyang (172.16.0.99) 56(84) bytes of data.
64 bytes from maoqiyang (172.16.0.99): icmp_seq=1 ttl=64 time=0.062 ms
^C
3.开启sshd。关闭防火墙与selinux
systemctl enable --now sshd
systemctl stop firewalld
systemctl disable firewalld
sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config
setenforce 0
4.创建hadoop并设置密码
[root@maoqiyang ~]# useradd hadoop && echo '123' | passwd --stdin hadoop
Changing password for user hadoop.
passwd: all authentication tokens updated successfully.
[root@maoqiyang ~]# cat /etc/shadow | grep hadoop
hadoop:$6$iQ9ZfF0I9gIglEZm$YLyxw22TvWnt63or457hOPBEkY6fCoBnEVpOcT7PcY2XDY3YhzBItoe23ecS5mpKID7x2iqpSbSv/r9s638Kn1:19062:0:99999:7:::
给hadoop提权
vi /etc/sudoers
hadoop maoqiyang=(root) NOPASSWD:ALL
5.安装java环境
1.卸载老版本，安装新版
rpm -qa | grep java
rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64
rpm -e --nodeps java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64
rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.141-2.6.10.5.el7.x86_64
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.141-2.6.10.5.el7.x86_64
查看删除结果再次键入命令 java -version
NO such file or directory则成功
2.传文件
（hadoop一会用）
物理机cmd scp
scp jdk-8u152-linux-x64.tar.gz root@172.16.0.99:/root
scp hadoop-2.7.1.tar.gz root@172.16.0.99:/root
3.解压文件
tar -zxvf jdk-8u152-linux-x64.tar.gz -C /usr/local/src
4.配置jdk环境变量
vi /etc/profile
export JAVA_HOME=/usr/local/src/jdk1.8.0_152
export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile
java -version
6.安装Hadoop软件
tar -zxvf ~/hadoop-2.7.1.tar.gz -C /usr/local/src/
配置环境变量
vi /etc/profile
export HADOOP_HOME=/usr/local/src/hadoop-2.7.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
hadoop #查看是否生效
修改目录的所有者和拥有组让hadoop执行的时候不会有权限问题
chown -R hadoop:hadoop /usr/local/src
ll /usr/local/src
7.安装单机版的hadoop系统
进入hadoop安装的目录
cd /usr/local/src/hadoop-2.7.1/
告诉hadoop系统jdk的目录
vi etc/hadoop/hadoop-env.sh
更改export JAVA_HOME 这行
export JAVA_HOME=/usr/local/src/jdk1.8.0_152
到此设置好了hadoop本地模式
8.运行hadoop
使用hadoop用户来运行hadoop
su - hadoop
将输入的文件放在hadoop家目录的input下
mkdir ~/input
创建输入文件
vi ~/input/data.txt
输入内容
Hello World
Hello Hadoop
Hello Huasan
测试mapreduce运行
hadoop jar /usr/local/src/hadoop-2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount ~/input/data.txt ~/output
hadoop命令 jar包 要做什么（wordcount统计单词数量） 被统计的输入文件 和被统计的输出文件
注意：输出目录不能事先创建，如果已经有~/output 目录，就要选择另外的
输出目录，或者将~/output 目录先删除。删除命令如下所示。
[hadoop@maoqiyang ~]$ rm -rf ~/output
统计多个输入的单词数
hadoop jar /usr/local/src/hadoop-2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount ~/input/data.txt ~/input/abc ~/input/etc/* ~/output
~/input/data.txt ~/input/abc ~/input/etc/* 都会整合到输出文件output里面
