完全分布式集群的准备工作
1.规划
Hadoop中的进程在多台机器运行!
HDFS: 1个nn+N个DN
n个2nn
YARN: 1个RM+N个NM
避免单点故障,NN和RM建议分散到多台机器!
注意负载均衡
hadoop101 | hadoop102 | hadoop103 |
---|---|---|
DN | DN | DN |
NM | NM | NM |
NN | RM | 2NN |
2.准备集群,安装JDK、hadoop
①克隆三台虚拟机
a)在每台机器的/etc/hosts中配置集群所有机器的ip和主机名的映射
b)提供普通用户,配置普通用户具有root权限
c)保证三台机器可以互相ping通
②安装JDK、hadoop,在一台机器安装,再将这台机器的软件复制到其他机器
如果真的不知道做什么 那就做好眼前的事情吧 你所希望的事情都会慢慢实现...