关于在真实物理机器上用cloudermanger或ambari搭建大数据集群注意事项总结、经验和感悟心得（图文详解）

 

写在前面的话

　　（1） 最近一段时间，因担任我团队实验室的大数据环境集群真实物理机器工作，至此，本人秉持负责、认真和细心的态度，先分别在虚拟机上模拟搭建ambari（基于CentOS6.5版本）和cloudermanager（基于CentOS6.5或Ubuntu14.04版本）。

　　（2）  大数据集群范围包括3节点和4节点。本人都尝试过。

　　（3）  安装搭建包括离线和在线。本人都尝试过

　　（4）  版本包括自定义指定和官方最新版本搭建。本人都尝试过。

　　（5） 大数据集群节点的增加和删减。本人都尝试过。

　　（6） 虚拟机和真实物理机上搭建。本人都尝试过。

 

 

 

 

　首先，以下是博主我本人，在虚拟机里搭建的ambari（基于CentOS6.5）

CentOS6.5下Ambari安装搭建部署大数据集群（图文分五大步详解）（博主强烈推荐）

 

　　以下是博主我本人，在虚拟机里搭建的cloudermanager（基于CentOS6.5）

CentOS6.5下Cloudera安装搭建部署大数据集群（图文分五大步详解）（博主强烈推荐）

 

 　　以下是博主我本人，在虚拟机里搭建的cloudermanager（基于Ubuntu14.04）

Ubuntu14.04下Cloudera安装搭建部署大数据集群（图文分五大步详解）（博主强烈推荐）（在线或离线）

 

 

 　　以下是博主我本人，在真实物理机器上搭建的ambari（基于ubuntu14.04）

Ubuntu14.04下Ambari安装搭建部署大数据集群（图文分五大步详解）（博主强烈推荐）

 

 

 

 

 　　　　这里，对于企业公司里，若搭建，角色机器分配可参考

Cloudera Manager5之安装部署CDH5.X （强烈推荐）

　　http://blog.csdn.net/freedomboy319/article/details/44804721

 

 

 

 

 

 

 

 

 

以下是博主我本人，在真实物理机上里搭建的cloudermanager（基于Ubuntu14.04）！！！

 

一、关于另开一个用户给真实物理机器。这一点区别于我们平常在虚拟机里搭建。

adduser与useradd的区别

 

1、虚拟机搭建

新建用户组、用户、用户密码、删除用户组、用户（适合CentOS、Ubuntu系统）

　　

2、真实物理机器搭建

　　不能上述虚拟机里创建用户方式了。要如下操作：

　　ubuntu和windows一样，可以任意创建或者删除新的用户，windows下比较简单，ubuntu下需要使用命令，不过操作起来不是很繁琐，所以我尽量写的详细一些。

          如何创建ubuntu新用户？比如我这里创建bigdata用户（root用户执行）

    方法1：    

 首先打开终端，输入：sudo adduser bigdata，系统会提示以下信息：

           正在添加用户“bigdata”...

           正在添加新组“bigdata”(1001)...

           正在添加新用户“bigdata”(1001)到组“bigdata”...

           创建主目录“/home/bigdata”...

            正在从“/etc、skel”复制文件...

            输入新的 UNIX 口令：（我这里输入密码为bigdata）

            重新输入新的 UNIX 口令：(再次输入bigdata)

            passwd：已成功更新密码

            Changing the user information for username
            Enter the new value, or press ENTER for the default
            Full Name []: （回车）
            Room Number []:（回车）
            Work Phone []:（回车）
            Home Phone []:（回车）
            Other []:（回车）
这个信息是否正确? [Y/n] y

            到了这一步，新用户已经添加成功了，此时我们可以打 ls /home查看一下，如果显示 username bigdata，侧代表用户创建成功。

 

 

 　　比如，我下面创建新用户oo。

 

 

 

 

 

 

 

 

 

 

首先打开终端，输入：sudo adduser username，系统会提示以下信息：

           正在添加用户“username”...

           正在添加新组“username”(1001)...

           正在添加新用户“username”(1001)到组“username”...

           创建主目录“/home/username”...

            正在从“/etc、skel”复制文件...

            输入新的 UNIX 口令：(此处大家注意，不是输入你当前用户的密码，而是输入你要创建新用户的密码)

            重新输入新的 UNIX 口令：(再输一次即可)

            passwd：已成功更新密码

            Changing the user information for username
            Enter the new value, or press ENTER for the default
            Full Name []: yangyang (输入新用户的名称)
            Room Number []:
            Work Phone []:
            Home Phone []:
            Other []:
这个信息是否正确? [Y/n] y

            到了这一步，新用户已经添加成功了，此时我们可以打 ls /home查看一下，如果显示 username yang，侧代表用户创建成功。如图1所示。

 

 

 

 

 

          如何删除ubuntu用户？

          ubuntu删除用户同样是在终端下操作的，需要注意的是，如果要删除的用户当前已登陆，是删除不掉的，必须注销掉当前用户切换为另一个用户下，才能删除。举个例子，刚才我新建立了一个用户为 yang 的用户，例如我现在用用户 yang 登陆了桌面，此时如果我想删除 yang 这个用户，是删除不掉的。正确的操作方法是，我注销掉 yang，然后使用 root 登陆到桌面，再删除 yang 即可。

          删除ubuntu用户的命令比较容易记：sudo userdel username，例如我想删除 yang ，则输入：sudo userdel yang，删除成功后，系统无任何提示。

 

　　后续贴图

 

 

 

 

 

 

 

 

 

 

 

　 二、若大家网速还不错的话，可以在线安装。若是网速不太好，强烈建议大家离线安装。（不然网络原因导致中途各种报错，非常麻烦）

 　　关于各自，大家是CentOS还是Ubuntu系统，自行可以参考我上述写的在虚拟机里搭建的博客。

 

　三、常见错误

Ubuntu系统里如何正确卸载oracle-j2sdk1.6（图文详解）

ClouderManger搭建大数据集群时ERROR 2003 (HY000): Can't connect to MySQL server on 'ubuntucmbigdata1' (111)的问题解决（图文详解）

sudo apt-get install openssh-server时提示需要安装1:6.6p1-2ubuntu1的解决办法（图文详解）

安装clouderamaner时出现Failed to detect distribution错误（在ubuntu14.04版本里）

cloudermanager安装过程中出现W:GPG error错误 http://ppa.launchpad.net.trusty Release **** 4DF9B28CA252A784（图文详解）

安装cloudermanager时出现org.spingframework.web.bind.***** host[] is not present at AnnotationMethodHandlerAdapter.java line 738 ****错误（图文详解）（博主推荐）

cloudermanger安装时需要安装或彻底正确卸载再安装orcal-java7-installer、oracle-java7-set-default（ubuntu14.04版本）（图文详解）

ubuntu系统在安装好mysql后，出现ERROR 2002（HY000: Can't to local MySQL server through socket '/var/run/mysqld/mysqld.sock'）（2）（图文详解）

cloudermanager安装时database connection出现Unexpected error. Unable to verify database connection（图文详解）

安装cloudermanager时出现Acquiring installation lock问题（图文详解）

cloudemanager安装时出现failed to receive heartbeat from agent问题解决方法（图文详解）

cloudemanager安装时出现ProtocolError: <ProtocolError for 127.0.0.1/RPC2: 401 Unauthorized>问题解决方法（图文详解）

cloudemanager安装时出现8475 MainThread agent ERROR Heartbeating to 192.168.30.1:7182 failed问题解决方法（图文详解）

 　

 

　　四、真实物理机上的一些安装技巧

　　比如，我这里，是将nssa-sensor1（即192.168.30.1）下载和搭建好。

　　在/opt/cloudera/下，然后，将整个cloudera目录拷贝到nssa-sensor2（192.168.30.2）、nssa-sensor3（192.168.30.3）和nssa-sensor4（192.168.30.3）

 

　　即，换句话说，将master/slave1（192.168.30.1）下载和搭建好。然后，将其/opt/cloudera整个目录，拷贝给slave2（192.168.30.2）、slave3（192.168.30.3）和slave4（192.168.30.4）。

　　这里，我至于为什么要搭建4节点，是因为符合中国高校的实情，需要做加速比性能分析。（这是潜规则）

 

 

　　小例子：比如，现在，我还有nssa-sensor4（192.168.30.4）还没拷贝。

 

 

 

 

 

 

 

 

　　对于，Ubuntu系统里搭建cloudermanager，其实，可以安装我们自行的orcal jdk。贴图为证。

　

 

　　这也是我，为什么要写下面的这篇博客的原因所在，

cloudermanger安装时需要安装或彻底正确卸载再安装orcal-java7-installer、oracle-java7-set-default（ubuntu14.04版本）（图文详解）

 

 

 

 

 

总结　　

　　此系列的大数据搭建，为本人呕心沥血所写，经过好一段时间反复锤炼和整理修改。以此，记录我读研生涯时光的美好记忆！

　　感谢所参考的博友们的精彩前辈文章！同时，欢迎前来查阅赏脸的博友们收藏和转载，附上本人的链接出处。

　　大家，若在虚拟机里搭建或真实物理机器上搭建，碰到问题，都可以留言评论。欢迎指正，谢谢！

 

 

 

 

 

 

欢迎大家，加入我的微信公众号：大数据躺过的坑     免费给分享

 

 

 

同时，大家可以关注我的个人博客：

   http://www.cnblogs.com/zlslch/   和  http://www.cnblogs.com/lchzls/ 

 

　　人生苦短，我愿分享。本公众号将秉持活到老学到老学习无休止的交流分享开源精神，汇聚于互联网和个人学习工作的精华干货知识，一切来于互联网，反馈回互联网。
　　目前研究领域：大数据、机器学习、深度学习、人工智能、数据挖掘、数据分析。 语言涉及：Java、Scala、Python、Shell、Linux等 。同时还涉及平常所使用的手机、电脑和互联网上的使用技巧、问题和实用软件。 只要你一直关注和呆在群里，每天必须有收获

 

       以及对应本平台的QQ群：161156071（大数据躺过的坑）