Hadoop运行环境搭建

不同Linux，操作不同

一、环境配置(CentOS7)

0、安装Linux实体机

1、开启远程连接

a、检测 openssh-server 是否安装

yum list installed | grep openssh-server

b、安装 openssh-server

yum install openssh-server

c、修改配置文库

vim /etc/ssh/sshd_config

Port 22
#AddressFamily any
ListenAddress 0.0.0.0
ListenAddress ::

# Authentication:

#LoginGraceTime 2m
PermitRootLogin yes
#StrictModes yes
#MaxAuthTries 6
#MaxSessions 10

d、开启端口(默认开启)

e、开启服务

systemctl start sshd
systemctl enable sshd

2、配置固定(静态)IP

a、配置文件

cd /etc/sysconfig/network-scripts/
vim ifcfg-ens33

TYPE=Ethernet
BOOTPROTO=static
NAME=ens33
ONBOOT=yes
IPADDR=192.168.10.10
NETMASK=255.255.255.0
GATEWAY=192.168.10.1
DNS1=DNS1=8.8.8.8

注意：连接外网

DNS1 为 8.8.8.8 和 GATEWAY ，GATEWAY与 NAT设置的网关IP相同

b、重启服务

systemctl restart network

3、修改主机名

a、查看主机名

hostname

b、修改配置文件

vim /etc/hostname

c、配置hosts linux

# 修改配置文件
vim /etc/hosts
# 内容 中间三个空格保持队列
192.168.8.128   wt.com
# 重启服务
/etc/init.d/network restart

d、配置host windows

C:\Windows\System32\drivers\etc
# 修改 hosts
192.168.8.128  wt.com

注意：主机名称的改变不会立即同步到，需要重启

4、配置防火墙

5、创建配置用户的root权限(sudo)

a、打开配置文件

vim /etc/sudoers

b、修改配置文件

## Allow root to run any commands anywhere
root    ALL=(ALL)       ALL
tom     ALL=(ALL)       ALL

二、安装JDK

1、国内镜像

https://repo.huaweicloud.com/java/jdk/

2、安装

本人的CentOS7自带JDK，且版本适中，其它自行百度

三、安装Hadoop

1、国内镜像

http://mirror.bit.edu.cn/apache/hadoop/common/

2、安装

a、解压

tar -xzvf hadoop-2.7.7.tar.gz
sudo mv hadoop-2.7.7 /opt/module

b、环境变量

sudo vim /etc/profile

export HADOOP_HOME=/opt/module/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
source /etc/profil

报错没有JAVA_HOME，原因：使用自带的

c、查找java安装路径

which java
ls -lrt /usr/bin/java
ls -lrt /etc/alternatives/java


sudo vim /etc/profile
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64/jre
source /etc/profile