Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网。
使用VMW安装四台CentOS-7-x86_64-DVD-1804.iso虚拟机:
计划配置三台centos虚拟机:
master:192.168.0.120 slave1:192.168.0.121 slave2:192.168.0.122
slave3:192.168.0.123
资源分配情况:
每台虚拟机分配:内存2G,CPU核数1个,磁盘20G。
VMW配置及本地IPv4上网配置情况:
安装VMW,并设置其连接方式为桥接方式:
本地网络适配器除了“本地连接”外,其他都禁用:
本地连接的IPV4配置,这里采用的自适应方式:
本地ipconfig如下:
安装CentOS
安装CentOS时,采用上网方式选取“使用桥接网络”:
安装完后,确认是否采用“桥接”方式:
安装完后配置静态ip,dns及测试
1)备份/etc/sysconfig/network-scripts/ifcfg-ens333
cd /etc/sysconfig/network-scripts/
scp ifcfg-ens333 ifcfg-ens333.bak
2)修改vi /etc/sysconfig/network-scripts/ifcfg-ens333
TYPE=Ethernet DEFROUTE=yes IPV4_FAILURE_FATAL=no IPV6INIT=yes IPV6_AUTOCONF=yes IPV6_DEFROUTE=yes IPV6_FAILURE_FATAL=no IPV6_ADDR_GEN_MODE=stable-privacy NAME=ens33 UUID=5cf46320-38f9-424c-b9cc-7e7f8a320c07 #每台服务器的该地址不同,请使用自己的虚拟机的UUID。 DEVICE=ens33 ONBOOT=yes BOOTPROTO=static DNS1=8.8.8.8 DNS2=114.114.114.114 IPADDR=192.168.0.120 PREFIX=24 GATEWAY=192.168.0.1 IPV6_PEERDNS=yes IPV6_PEERROUTES=yes
注意:图中圈中的配置信息是重点配置信息。
3)配置/etc/sysconfig/network:
# Created by anaconda NETWORKING=yes HOSTNAME=master GATEWAY=192.168.0.1
slave节点,以slave1为例:
# Created by anaconda NETWORKING=yes HOSTNAME=slave1 GATEWAY=192.168.0.1
4)配置/etc/resolv.conf
# Generated by NetworkManager nameserver 8.8.8.8 nameserver 114.114.114.114
注意:该信息也可以不配置,当重启网络后,会自动配置。
5)设置host名称
master(192.168.0.120)执行:
hostnamectl --static set-hostname master hostnamectl status
slave1(192.168.0.121)执行:
hostnamectl --static set-hostname slave1 hostnamectl status
slave2(192.168.0.122)执行:
hostnamectl --static set-hostname slave2 hostnamectl status
slave3(192.168.0.123)执行:
hostnamectl --static set-hostname slave3 hostnamectl status
6)重启网络,测试:
[root@localhost network-scripts]# service network restart
Restarting network (via systemctl): [ OK ]
[root@localhost network-scripts]#
测试1:是否host名称修改成功
[spark@master ~]$ hostname master
slave1,slave2,slave3依次验证。
测试2:是否可以连接本地
[root@localhost network-scripts]# ping 192.168.0.1 PING 192.168.0.1 (192.168.0.1) 56(84) bytes of data. 64 bytes from 192.168.0.1: icmp_seq=1 ttl=64 time=1.23 ms 64 bytes from 192.168.0.1: icmp_seq=2 ttl=64 time=1.13 ms 64 bytes from 192.168.0.1: icmp_seq=3 ttl=64 time=1.02 ms
测试3:是否可以连接其他虚拟机
[root@localhost network-scripts]# ping 192.168.0.121 PING 192.168.0.121 (192.168.0.121) 56(84) bytes of data. 64 bytes from 192.168.0.121: icmp_seq=1 ttl=64 time=0.860 ms 64 bytes from 192.168.0.121: icmp_seq=2 ttl=64 time=0.404 ms
测试4:是否可以上网,是否可以解析域名
[root@localhost network-scripts]# ping www.baidu.com PING www.baidu.com (61.135.169.125) 56(84) bytes of data. 64 bytes from 61.135.169.125 (61.135.169.125): icmp_seq=1 ttl=56 time=2.92 ms 64 bytes from 61.135.169.125 (61.135.169.125): icmp_seq=2 ttl=56 time=4.46 ms 64 bytes from 61.135.169.125 (61.135.169.125): icmp_seq=3 ttl=56 time=3.98 ms 64 bytes from 61.135.169.125 (61.135.169.125): icmp_seq=4 ttl=56 time=2.83 ms
到此,所有服务器按照这么安装验证,经过上边三个测试验证就说明静态ip配置成功。
重启后,发现某一台服务器的不能的ifcfg-ens33配置的ip失效解决方案:《Centos7:Failed to start LSB: Bring up/down networking
》
基础才是编程人员应该深入研究的问题,比如:
1)List/Set/Map内部组成原理|区别
2)mysql索引存储结构&如何调优/b-tree特点、计算复杂度及影响复杂度的因素。。。
3)JVM运行组成与原理及调优
4)Java类加载器运行原理
5)Java中GC过程原理|使用的回收算法原理
6)Redis中hash一致性实现及与hash其他区别
7)Java多线程、线程池开发、管理Lock与Synchroined区别
8)Spring IOC/AOP 原理;加载过程的。。。
【+加关注】。