Hadoop学习笔记(4)hadoop集群模式安装
具体的过程参见伪分布模式的安装,集群模式的安装和伪分布模式的安装基本一样,只有细微的差别,写在下面:
修改masers和slavers文件:
在hadoop/conf文件夹中的配置文件中有两个文件masters和slavers两文件,分别记录物理机器的主节点和从节点。分别以文本格式把主节点和从节点的名字写入到这两个文件中。
向各个节点复制hadoop:
在一个节点中安装好hadoop并且配置好了hadoop/conf/…下的一些配置文件之后,就能把hadoop复制到各个节点了:
#scp -r /usr/local/hadoop hadoop2:/usr/local/
这样就把各个节点都安装好了hadoop了。
格式化hadoop的文件系统:
在copy完hadoop后,要在各个节点中分别格式化他们的hadoop文件系统。
启动hadoop:
在主节点中执行start-all.sh就能启动整个hadoop系统,然后能看到各个进程都启动,然后可以在各个节点中通过jsp命令查看他们各自运行的java进程。
注意:一定要事先关闭他们的防火墙,不然防火墙会组织9000或者9001等端口的使用,这样的话会阻止一些进程的启动,导致hadoop无法正常的运行。
在hadoop的安装或者运行过程中,出现问题之后一定要去看logs信息,看java抛出的异常,这样就能知道问题的源头。