【Hadoop 分布式部署 六:环境问题解决和集群基准测试】

环境问题:

    出现Temporary  failure  in  name  resolutionp-senior-zuoyan.com 的原因有很多,主要就是主机没有解析到,

    那就在hadoop的slaves 配置文件中 重新写一下主机名

    如果还是没有成功启动,就将slaves 文件删除,然后重新创建,可能原因就是因为在windows 环境下打开编辑

    文本中给添加了字符

 

 

 

 

集群基准测试(实际环境中必须的):

      集群搭建完成以后

          1. 基本测试:(创建目录、上传文件、Yarn运行程序、看看服务是否启动、是否可能、简单应用、)

              hdfs:读写操作  上传文件、读取内容

              yarn :运行一个程序     将mapreduce程序运行在yarn上

           2.基准测试 :

              测试集群性能

                hdfs:写数据、读数据   

             监控集群:

                 Cloudera

                 Cloudera Manager

                      * 部署  安装集群

                      * 监控集群  

                      *  配置 同步集群

                      *   预警 

             (现在学习的搭建方式是手工搭建,如果机器多了,这种手工搭建的方式,就不适用了)

              以后都是图形界面的工具化搭建方式!

 

posted @ 2018-09-30 09:54  梅花GG  阅读(138)  评论(0编辑  收藏  举报