hadoop环境搭建之分布式的建立3

一、说在前面

　　今天在昨天的基础上将分布式的hadoop启动起来，然后进行ssh免密登录等操作

二、配置

======================集群启动=======================

集群启动
    如果集群是新集群，第一次启动需要格式化namenode
    在namenode的节点执行：hdfs namenode -format

    启动namenode
    在namenode的节点执行：hdfs --daemon start namenode

    启动datanode
    在所有节点执行：hdfs --daemon start datanode

    启动2nn
    在2nn节点执行（104）：hdfs --daemon start secondarynamenode

    启动resourcemanager
    在rm的节点执行（103）：yarn --daemon start resourcemanager

    启动nodemanager
    在所有的节点执行：yarn --daemon start nodemanager
    
    验证：
    java查看进程命令：  jps，查看所有的继承是否存在
    或者通过web端访问：
    NN：hadoop102:9870
    RM：hadoop103:8088

=======================重复格式化======================

重复格式化需要注意的问题：
    删除每个节点的data目录，再进行格式化

========================日志=========================

出问题看日志 *3
    明确在哪台节点出的问题（例如102）
    明确什么操作出的问题（例如启动dn失败）
    看日志：在102的节点中，找到hadoop的日志目录
        /opt/module/hadoop-3.1.3/logs
        查看hadoop-hao-datanode-hadoop102.log
    可以通过命令 tail -n 100  hadoop-hao-datanode-hadoop102.log 
    的形式查看

=====================ssh免密登录=======================
ssh免密登录
    分别在102 103 104生成公私钥
    ssh -keygen -t rsa  (四次回车)
    分别将各自的公钥授权给每台机器
    ssh-copy-id hadoopxxx