离线安装Cloudera Manager5.2.0和CDH5 2.0

第一次安装出现了各种问题，尤其是对于不是太熟悉linux系统的更是头疼不已呀！特此记录一下，希望能够让小伙伴们少走点弯路。

 

 

1.给机器添加路由 （根据自己的机器情况，可以忽略）
 
route add -net 172.17.2.0 netmask 255.255.255.0 gw 192.168.0.1 （windows）
 
route /p add 172.17.2.0 mask 255.255.255.0 192.168.0.1（linux）
 
2.集群主机配置
2.1 、配置静态 IP
2.2、关闭虚拟机防火墙
在防火墙开启的情况下，执行如下两条命令。
永久关闭防火墙：chkconfig iptables off
关闭命令：  service iptables stop
两个命令同时运行，运行完成后查看防火墙关闭状态
service iptables status
2.3、关闭selinux
1 .命令：sudo vi /etc/sysconfig/selinux
2.“SELINUX=”后的信息为“disabled”
3.重启机器 指令 reboot
2.4、更改主机名
vi /etc/sysconfig/network
2.5、账户的建立和权限的分配
# useradd ai
# passwd ai
分配sudo权限
若没有sudo命令 直接安装 yum -y install sudo
1.添加用户cube
adduser cube
2.给用户加密码
passwd cube
然后输入两次密码。
3.查看sudo是否安装
rpm -qa|grep sudo
4.修改sudoers文件
visudo -f /etc/sudoers
在root ALL=(ALL) ALL 之后增加
cube ALL=(ALL)     NOPASSWD:ALL
# 这个在切换时，不需要输入密码

2.6、修改hosts的文件
修改/etc/hosts文件
如下：
172.17.2.146 hd01.domain.com hd01
172.17.2.147 hd02.domain.com hd02
172.17.2.148 hd03.domain.com hd03
172.17.2.149 hd04.domain.com hd04
172.17.2.150 hd05.domain.com hd05
这一步需要在每台机器上都要设置
2.7、配置ssh无密码登录
1、确认本机sshd的配置文件（root）
$ vi /etc/ssh/sshd_config

  找到以下内容，并去掉注释符"#"
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile .ssh/authorized_keys
2、 如果修改了配置文件需要重启sshd服务（root）,否则忽略该步骤
$sudo /sbin/service sshd restart
3、 ssh登陆系统 后执行测试命令
$ ssh localhost
$ssh –p 10001 cb2
  回车会提示你输入密码，因为此时我们还没有生成证书。
4、 生成证书公私钥的步骤
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
5、 认证登陆远程服务器
  备注：远程服务器OpenSSH的服务当然要启动。
$cat ~/.ssh/id_dsa.pub | ssh 远程用户名@远程服务器ip 'cat - >> ~/.ssh/authorized_keys'
例子： $cat ~/.ssh/id_dsa.pub | ssh root@192.168.15.171 'cat - >> ~/.ssh/authorized_keys'
（所有机器之间需要全部无密码互通，否则后面会出现问题）
比如：ssh端口已由22转为10001
cat ~/.ssh/id_dsa.pub | ssh –P 10001 cube@192.168.15.47 'cat - >> ~/.ssh/authorized_keys'
权限很重要。登录端的 .ssh才目录权限是  ssh-keygen自己生成的不要乱改。默认.ssh目录是700 , id_rsa 是600  不能多也不能少，
如果有写的权限会导致 ssh认为这个文件不可靠，可能被改写。被登录的机器 .ssh 目录是 700 至少不能有写的权限。里面的 authorized_keys 权限 644

2.8、在用作集群Master的机器上，修改MaxStartup。
a.     执行命令：cd /etc/ssh
b.     执行命令：sudo vi sshd_config
c.     在倒数12行，修改MaxStartups 的值为100，并把#去掉
d.     执行命令：sudo service sshd restart
2.9、在所有主机上，修改对打开文件数的的限制。
a.     执行命令：cd /etc/security
b.     执行命令：sudo vi  limits.conf
c.     添加一行：*     -      nofile     65536
 
3、建立yum 本地源 
（注意：有的机器使用YUM安装会提示无法解析链接，请ping www.baidu.com 测试一下DNS是否能解析成功,如果不行，执行 echo "nameserver 8.8.8.8">>/etc/resolv.conf 再试一下  如果还不行  就看看机器是否能连接外网）
3.1 、在源服务器中安装 web服务
#yum install httpd 
3.2 、启动httpd
#service httpd start
3.3 、安装创建源工具 (该步不是必须项)
yum install createrepo
3.4时钟同步
在每台主机上执行如下语句：
sudo service ntpd stop
sudo ntpdate pool.ntp.org
sudo service ntpd start
sudo chkconfig ntpd on
4. 安装postgresql
   查看 postgres 默认的相关的包
执行 rpm -qa|grep postgres
卸载相关的包。
执行 rpm –e postXXXXX

1.安装postgresql9.0 yum 仓库

rpm -i http://yum.postgresql.org/9.2/redhat/rhel-6-x86_64/pgdg-redhat92-9.2-7.noarch.rpm

2.安装新版本的Postgresql

yum install postgresql92-server postgresql92-contrib

3.初始化数据库

/etc/init.d/postgresql-9.2 initdb

4.启动数据库

/etc/init.d/postgresql-9.2 start

注意：postgresql启动后就可以利用service postgresql-9.2 start/restart/stop来控制它了。

虽然打完service后，按p不提示postgresql-9.2,但是可以用手输。

5.把postgresql加入自启动列表

cd /etc/init.d

chkconfig --add postgresql-9.2

6.查看一下自启动列表

chkconfig --list
chkconfig postgresql-9.2 on 设置开机启动

在这里可以看到postgresql已经在其中了。

7.PostgreSQL 数据库默认会创建一个postgres的数据库用户作为数据库的管理员，默认密码为空，我们需要修改为指定的密码，这里设定为’postgres’

 

 直接在控制台输入以下命令：

# su - postgres

$ psql

# ALTER USER postgres WITH PASSWORD 'postgres';
# select * from pg_shadow ;

# create database david;

# \c david

david=# create table test (id integer, name text);
 
david=# insert into test values (1,'david');
 
至上，安装成功。
 
# env 查看所有环境变量内容 
设置环境变量  
export PATH=(将原来的PATH复制过来)+:/var/lib/pgsql:/etc/init.d
 
 
5.搭建cm本地源
1.下载目录连接，请根据自己的需要选择合适的版本 注意：CM和CDH版本必须要一致
 
     我使用的是5.2.0版本的
存放在作为Master机器上的/var/www/html目录
  tar -xvf  cm5.2.0-centos6.tar.gz    tar -xvf  cdh5.2.0-centos6.tar.gz
 
解压完成后  在浏览器上访问一下http://ip/cm/5.2.0 看是否能访问，如果能访问，说明本地cm源搭建好了
 
6、安装CM
 
6.1 、cm5的安装
/etc/yum.repos.d/下新建cloudera-manager.repo ，用于使用本地源安装，文件内容为：
[cloudera-manager]
name = Cloudera Manager, Version 5.2.0
baseurl = http://ip/cm/5.2.0/  (IP为自己作为Master主机的IP)
gpgcheck = 0
 
启动cloudera-manager-installerd.bin
cd /var/www/html
sudo ./ cloudera-manager-installerd.bin
接下来，一路 next，如果源没问题，即可安装成功
可能出现的问题：安装到40%的时候可能过不去，查看安装日志，根据日志排除吧
可能出现的原因： 
原因1：没有安装postgresql
原因2：postgresql版本不支持（我开始安装了一个9.3的版本，总是过不去，找了半天原因）
 
cm5安装成功后，会提示通过 7180的关口访问cm server 安装的所在主机。
 
 
通过提示，输入账号（ admin）与秘密（admin ）即可进入安装向导
 
继续下一步。添加安装的主机，可以用机器名和IP 进行搜索
根据自己的机器端口  设置一下ssh端口  默认端口:22
 
 
继续下一步
在该步骤，选择自定义的存储库，输入本地源的地址。http://ip/cdh/5.2.0/
同样cloudera Manager agent也是选择自定义存储库，输入本地源的地址http://ip/cm/5.2.0/
继续下一步，就会到安装阶段了。
 
安装阶段可能出现的问题：
问题1：会停止获取安全锁
解决办法：确认vi /etc/hosts 里面配置的host是否正确
检查ssh能否无密码互相登录
 
问题2：cdh 安装失败。 无法接收 Agent 发出的检测信号。
解决办法：基本上也是host的原因，
还有就是需要确认一下所有机器上的防火墙是否关闭，如果没关闭，请按照上面关闭防火墙的指令进行关闭
 
如果没出现问题，就会提示安装完成
 
 
继续下一步

接下来是服务器检查，可能会遇到以下问题：

Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装，但可能会遇到问题，Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响：

通过 echo 0 > /proc/sys/vm/swappiness 即可解决。

 
继续下一步 选择安装的服务（根据自己的需要）
 
服务配置，一般情况下保持默认就可以了（Cloudera Manager会根据机器的配置自动进行配置，如果需要特殊调整，自行进行设置就可以了）：
 
接下来是数据库的设置，检查通过后就可以进行下一步的操作了：
这一步的的数据库会默认选中Postgresql  把账号和密码记录下来
 
 
 
提示安装成功
 
 
后续的东西就根据自己的需要进行设置了
 
 
希望大伙安装顺利
posted @ 2014-11-07 15:01  缘来小詹  阅读(2395)  评论(0)  编辑  收藏  举报