大数据组件的运行环境预配置

预设条件

1.硬件环境

假定有4台机,网关是192.168.100.1,主机名和IP分别设置为:

c1  192.168.100.105
c2  192.168.100.110
c3  192.168.100.115
c4  192.168.100.120

* 如果是搭建Ambari平台安装Hadoop组件,则需要使用FQDN格式(Hostname + DomainName),就是配置主机名的同时要配置域名。

 

2.软件环境

操作系统:Ubuntu Server 18.04

JDK:1.8.0

 

* 先登录root账号再进行以下操作

* 以下操作在每台机都要执行一次

一、主机属性配置

1.修改主机名

(1) 修改cloud.cfg配置,使新主机名变成默认(如果不修改此属性,则重启后会恢复原主机名)

vim /etc/cloud/cloud.cfg

把preserve_hostname属性的值改成true

preserve_hostname:true

* 如果cloud.cfg没有此属性,可以直接在cloud_init_modules模块前添加该行。

 

(2) 修改每台机的主机名

hostnamectl set-hostname 主机名

4台机的主机名分别改为(这里只是举例,可自定义):c1、c2、c3、c4

例如,在c1机执行hostnamectl set-hostname c1,在c2机执行hostnamectl set-hostname c2,……

 

* 如果是搭建Ambari平台安装Hadoop,则需要设置为FQDN格式(Hostname + DomainName),否则安装时会报警。

示例如下(这里的clotho.com只是举例,可自定义):

c1.clotho.com
c2.clotho.com
c3.clotho.com
c4.clotho.com

 

(3) 修改后需要重启系统

 

2.修改固定IP
修改50-cloud-init.yaml文件(有的Ubuntu版本是00-installer-config.yaml文件)

vim /etc/netplan/50-cloud-init.yaml

修改每台机的addresses和gateway4参数,例如c2的是addresses: [192.168.100.110/24],gateway4: 192.168.100.1。

network:
    ethernets:
        enp2s0:
            addresses: [192.168.1.6/24]
            gateway4: 192.168.1.1
            nameservers:
                    addresses: [114.114.114.114, 202.96.128.86]
            dhcp4: no
            optional: no
    version: 2

修改保存后更新

netplan apply

 

3.修改DNS文件

vim /etc/hosts

在末尾加入以下:

192.168.100.105 c1
192.168.100.110 c2
192.168.100.115 c3
192.168.100.120 c4

 

二、主机访问权限配置

1.免密登录

https://www.cnblogs.com/live41/p/15522584.html

 

三、主机系统配置

1.调整时区

https://www.cnblogs.com/live41/p/14237170.html

 

2.安装时间同步工具(NTP)

NTP是通过网络来同步时间的一种TCP/IP协议

apt install ntp
update-rc.d ntp defaults #设置开机自启动

附:关闭开机自启动

update-rc.d -f ntp remove

 

3.设置最大打开文件数

(1) 查看

ulimit -Hn #查看硬限制
ulimit -Sn #查看软限制

 

(2) 设置

低于10000时,设置10000或以上的值。

ulimit -Hn 10000 #只设定硬限制
ulimit -Sn 10000 #只设定软限制

也可以直接同时设置:

ulimit -n 10000 #同时设置两个限制

 

4.关闭SELinux

SELinux(Security-Enhanced Linux),控制文件访问权限

apt install selinux-utils
setenforce 0

 

5.关闭防火墙

ufw disable
iptables -X
iptables -t nat -F
iptables -t nat -X
iptables -t mangle -F
iptables -t mangle -X
iptables -P INPUT ACCEPT
iptables -P FORWARD ACCEPT
iptables -P OUTPUT ACCEPT

如果是CentOS,还需要操作以下:

systemctl stop firewalld       # 关闭
systemctl disable firewalld    # 取消开机启动

 

四、安装运行环境

1.安装JDK

https://www.cnblogs.com/live41/p/14235891.html

 

posted @ 2021-11-08 19:44  Clotho_Lee  阅读(701)  评论(0编辑  收藏  举报