cloudera manager(CDH)实践

　　cloudera manager 可以简化 Hadoop 的安装配置过程，自动在集群节点上安 装 hadoop 相关组件，创建用户，并管理各个组件服务。本手册以 cloudera manager 的 free 版本,以下 5 台机器为例安装 hadoop 集群: 192.168.106.36 192.168.106.37 192.168.106.38 192.168.106.39 192.168.106.40

 1．安装 cloudera manager

　　1.1下载Cloudera Manager安装程序

 

　　　　cloudera manager 主服务只需要安装在集群的主节点上，本集群主节点 为 192.168.106.36。通常安装 cloudera manager 只需从以下官网下载安装 文件（Cloudera-manager-installer.bin）：

wget https://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin

　　1.2 运行Cloudera Manager安装程序　

1. 更改 Cloudera的经理，installer.bin 拥有可执行权限：

   chmod u + x cloudera-manager-installer.bin

2. 运行Cloudera Manager Server安装程序：

   sudo ./cloudera-manager-installer.bin

             

 

 　　　　ps:下载包很大，确保网速可以，如果不确定是否报错可以查看日志（时间很长，一个晚上不间断的安装）

tail -f /var/log/cloudera-manager-installer/3.install-cloudera-manager-server.log

cloudera-manager-daemons
x86_64 5.16.2-1.cm5162.p0.7.el6 cloudera-manager 767 M

Transaction Summary
================================================================================
Install 2 Package(s)

Total download size: 767 M
Installed size: 931 M
Downloading Packages:

 

　　1.3 阅读并接受相关许可协议

1. 阅读Cloudera Manager README，然后按Enter继续。
2. 阅读Cloudera Express许可证，然后按Enter继续。使用箭头键并按Enter键选择是以确认。
3. 阅读Oracle二进制代码许可协议，然后按Enter继续。使用箭头键并按 Enter键选择是以确认。
   安装程序执行以下任务：

   1. 安装Oracle JDK和Cloudera Manager存储库文件。
   2. 安装Cloudera Manager Server和嵌入式PostgreSQL包。
   3. 启动Cloudera Manager Server和嵌入式PostgreSQL数据库。

　　注意：如果安装中断，您可能需要清理才能重新运行它。在Cloudera Manager Server主机上运行以下命令：

　　sudo /usr/share/cmf/uninstall-cloudera-manager.sh

 2.启动并登录Cloudera Manager Admin Console

 　　Cloudera Manager Server URL（由上一步中的安装程序中会显示，记录即可）采用以下形式：

http://Server host:port

　　其中服务器主机是安装Cloudera Manager Server的主机的完全限定域名（FQDN）或IP地址，port是为Cloudera Manager Server配置的端口。默认端口号为7180。

1. 在Web浏览器中，输入Cloudera Manager URL。将显示Cloudera Manager Admin Console的登录屏幕。

　　

 

1. 登录Cloudera Manager Admin Console。默认凭据为：
   • 用户名： admin

     Cloudera Manager不支持更改 管理默认帐户的用户名。但是，您可以添加新用户，为新用户分配管理权限，然后删除默认用户管理 帐户。

   • 密码： admin。

     系统将要求您稍后在此过程中更改此密码。

2. 登录后，将显示“ 最终用户许可条款和条件”页面。阅读条款和条件，然后选择是接受它们。

　　

 

1. 单击继续。在欢迎的Cloudera管理器页面显示，您可以选择要安装的版本。您可以选择要安装的Cloudera Manager版本，也可以选择安装许可证：
   

　　

　　

　　使用Cloudera Manager向导进行软件安装和配置（支持的功能列表）

　　

　　在Cloudera Manager中选择Cluster Hosts

　　

 

 

　　选择软件安装方法和安装软件

 

　　 

　　选择安装Oracle Java SE Development Kit（JDK）以允许Cloudera Manager在每个群集主机上安装JDK。如果您已经安装了JDK，请不要选择此选项。

          

　　启用单用户模式

　　　

　　指定群集主机的SSH登录凭据：

• 选择root或输入具有无密码sudo权限的帐户的用户名。

• 选择身份验证方法：

  • 如果选择密码验证，请输入并确认密码。

  • 如果选择公钥验证，请提供所需密钥文件的密码和路径。

• 您可以指定备用SSH端口。默认值为22。
• 您可以指定一次运行的最大主机安装数。默认值为10。

　　

　　导入cdh程序包时总会一些奇怪的问题

　　

　　

　　这种问题网上很多方式解决，但是没有办法解决我的这种问题，我只有换一种方式去尝试。当然所有技术选型都是在项目业务的允许下，问题基本原因找到后就换了一种简单组建替代了，这种方式内存和外存要求非常高，小公司需要满足这样的大规模集群的业务需要，还要经费支持的前提下在按照，建议按照apache的简易方式安装即可。