hadoop环境搭建

Host Name

修改hostname文件

vi /etc/hostname

添加

HOSTNAME=blahblah

CentOS命令行操作

等价修改hostname文件的操作

hostnamectl set-hostname blahblah

Network

查看IP地址

ifconfig

配置IP地址

vi /etc/sysconfig/network-scripts/ifconfig-*
# 修改内容
BOOTPROTO=dhcp

# 修改内容
ONBOOT=yes

# 添加内容
IPADDR=192.168.1.110
GATEWAY=192.168.1.1
NETMASK=255.255.255.0

IP地址生效

方法一:重启操作系统

reboot

方法二:重启网络服务

以network运行网络服务

systemctl restart network

以networkmanager运行网络服务(比如CentOS8)

nmcli c reload 网卡名
nmcli c up 网卡名

Q&A

双向PING的坑有哪些?

防火墙。PING使用的LCMP,WIN10防止同网段的其他主机PING本地主机,需要关闭WIN10防火墙,或者修改WIN10防火墙的入站规则,添加LCMP协议。

JAVA

包管理下载安装JAVA

yum install java

配置JAVA_HOME环境变量

hadoop依赖JAVA_HOME环境变量

可配置环境变量的文件:

  • /etc/profile
  • ~/.profile
  • ~/.bashrc(根据用户所使用的shell决定)

第一个为全局配置
第一个和第二个为用户配置

这里以~/.bashrc演示

vi ~/.bashrc

添加

# 要确保JAVA_HOME文件夹中包含bin文件夹
export JAVA_HOME=/usr/lib/java*(/jre)

使.bashrc生效

source ~/.bashrc

Hadoop

Hadoop的JAVA版本要求

Apache Hadoop 3.3 and upper supports Java 8 and Java 11 (runtime only).

Please compile Hadoop with Java 8. Compiling Hadoop with Java 11 is not supported:HADOOP-16795 - Java 11 compile support OPEN

Apache Hadoop from 3.0 to 3.2 now supports only Java 8

Apache Hadoop from 2.7.x to 2.x support Java 7 and 8

下载

hadoop下载链接

方法一:本地下载

本地下载,通过scp命令上传到服务器

方法二:服务器下载

复制下载链接,通过wget命令下载

解压

第一步:解压包

# 解压并指定解压位置
tar -xzvf hadoop*.tar.gz -C /usr/local

测试

/usr/local/hadoop*/bin/hadoop version

如果能正确输出则表示hadoop运行成功,间接表示JAVA_HOME配置正确

posted on 2020-09-17 11:25  不可能被劝退的新手  阅读(131)  评论(0编辑  收藏  举报