CDH支持Yum包,Tar包,RPM包,Cloudera Manager(CM)四种安装方式
Cloudera Manager(CM) 用于CDH集群管理,可进行节点安装,配置,服务管理等,提供Web窗口界面以提高Hadoop配置可见度,从而降低集群参数设置的复杂度。
****Cloudera Manager安装(全部使用普通用户hadoop的sudo权限实现)
0.0,使用root添加hadoop用户并附加sudo权限
adduser hadoop
echo hadoop | passwd --stdin hadoop
chmod u+w /etc/sudoers
添加:hadoop ALL=(root) NOPASSWD:ALL
deployer ALL=(root) NOPASSWD:ALL
chmod u-w /etc/sudoers
0,关闭防火墙和selinux,及配置信任关系
service iptables status
service iptables stop
chkconfig --list|grep iptables
chkconfig iptables off
vim /etc/sysconfig/selinux
SELINUX=disabled
1,配置主机名
vim /etc/hosts
192.168.1.101 cdh1
192.168.1.102 cdh2
192.168.1.103 cdh3
2,配置hadoop用户SSH免密码登录
(1)ssh-keygen -t rsa
(2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys 或 (2)ssh-copy-id cdh1 验证 : ssh cdh1
(3)两两节点之间的SSH免密码登陆
ssh-copy-id -i cdh2-* #scp ~/.ssh/authorized_keys cdh2:/hadoop/.ssh/
3,卸载jdk
rpm -qa|grep java
rpm -qa|grep jdk
rpm -e ** --nodeps
4.1查看httpd是否安装并启动
rpm -qa|grep httpd 若没安装 : sudo yum install -y httpd
service httpd status
sudo service httpd start 通过 http://192.168.1.101/ 进行验证
设置开机启动 sudo chkconfig httpd on
4.2.1下载cm安装包与软件包到 /opt 目录下(cm,cdh所有默认安装均在/opt下,可以将/opt更改为hadoop用户 sudo chown -R hadoop:hadoop /opt/ )
cm installer : http://archive.cloudera.com/cm5/installer/
cm repo-as-tarball : http://archive.cloudera.com/cm5/repo-as-tarball/
4.2.2解压 repo-as-tarball 到 /var/www/html/ 目录下
tar xzvf ./cm5.7.0-centos6.tar.gz -C /var/www/html/
验证查看 http://192.168.1.101/cm/ 5.7.0安装包在/cm目录下
4.2.3设置与官网相同目录结构(http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/)
在 /var/www/html/ 下递归创建 cm5/redhat/6/x86_64 目录 sudo mkdir -p cm5/redhat/6/x86_64
将 cm 文件夹mv到 cm5/redhat/6/x86_64 目录下 sudo mv cm cm5/redhat/6/x86_64/
验证查看 http://192.168.1.101/cm5/redhat/6/x86_64/cm/ (查看与官网目录结构相同)
4.2.3配置Yum源映射http://192.168.1.101/cm5/redhat/6/x86_64/cm/目录
1.切换到 /etc/yum.repos.d 目录 cd /etc/yum.repos.d/
2.创建repo文件写入配置 sudo vim cloudera-manager.repo
[cloudera-manager]
name=cloudera-manager
baseurl=http://cdh1/cm5/redhat/6/x86_64/cm/5/
enabled = 1
gpgcheck = 0
5,安装installer执行文件 (!notice: 1,CRT不能乱码 2,可用内存必须要>4G 3,必须使用root用户)
5.1给予权限:chmod u+x cloudera-manager-installer.bin
5.2一路下一步:
。
等到安装完成,可以观察日志查看安装状态:/var/log/cloudera-manager-installer/*.log
cm日志文件目录 : /var/log/cloudera-scm-server/*.log 后期可通过日志进行
****通过Cloudera Manager实现CDH安装(比较简单,完全图形化操作)
1,主机检索步骤略
2,部署CDH使用的parcels包
2.2上传至指定目录 cd /var/www/html;sudo mkdir parcels
2.3修改 sudo mv CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha1 CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha
进入集群安装页面
点击更多选项,配置 远程 Parcel 存储库 URL
删除其他外网全程下载,配置本地下载库(查看http://cdh1/parcels/可以访问)
选择自定义存储库(确保CM自定义存储库可以访问)
选择安装JDK,继续
不启用单用户模式,继续
选择其他用户 hadoop,输入密码,继续
等待安装,完成继续(时间取决于机器性能及各节点间网络传输速度)
安装完成,继续
排除警告:echo 0 > /proc/sys/vm/swappiness;echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
继续进入添加部署服务页面
选择要添加的服务即可。安装mysql用来存储hive与cmmetadata
安装MySQL
通过 yum -y install mysql-server 安装mysql服务器,chkconfig mysqld on 设置开机启动并 service mysqld start 启动mysql服务,并根据提示设置root的初试密码: mysqladmin -u root password 'root'
mysql -uroot -proot 进入mysql命令行,创建以下数据库:
#hive
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
#activity monitor
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
#授权root用户在主节点拥有所有数据库的访问权限
grant all privileges on *.* to 'root'@'%' identified by 'root' with grant option;
grant all privileges on *.* to 'root'@'cdh1' identified by 'root' with grant option;
flush privileges;
若使用默认数据库,记下用户名密码
最后,部署,配置根据项目中实际需求进行配置使用