CDH介绍以及安装

CDH

CDH介绍

Apache Hadoop不足之处

• 版本管理混乱
• 部署过程繁琐、升级过程复杂
• 兼容性差
• 安全性低

CDH介绍

• 基于web的用户界面
• 提供了hadoop的核心
• 快速搭建hadoop集群
• 对集群进行管理
• 方便对hadoop版本升级
• 新版本的hadoop与hive、habase、kafka、spark等兼容

CDH架构图

CDH安装方式

• cloudera manager（推荐）
• yum
• rpm
• tarball

CDH下载地址

• CDH

http://archive.cloudera.com/cdh5/

• cloudera manager

http://archive.cloudera.com/cm5/cm/5/

cloudera manager

• cloudera manager是一个管理CDH的端到端的应用
• 作用
  • 管理
  • 监控
  • 诊断
  • 集成

cloudera manager安装

系统环境准备

• 网络配置
• vi /etc/sysconfig/network

• vi /etc/hosts

• SSH免密钥登陆

• ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

• cat ~/.sh/iddsa.pub >>~/.ssh/authorizedkeys

• 防火墙关闭

• service iptables stop

• chkconfig iptables off

• SELINUX关闭

• vi /etc/selinux/config(SELINUX=disabled)

• 安装JDK配置环境变量

• export JAVAHOME=/data/jdk1.8.0221

• export PATH=$PATH:$JAVA_HOME/bin

• 安装NTP

• yum install ntp -y

• 安装mysql

• 下载第三方依赖包

CM安装

• 安装cloudera manager server、agent
• mkdir -p /opt/cloudera-manager

• tar xvzf cloudera-manager-centos7-cm5.15.1x8664.tar.gz -C /opt/cloudera-manager

• 创建用户cloudera-scm

• useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

• 配置CM agent

• vi /opt/cloudera-manager/cm-5.15.1/etc/cloudera-scm-agent/config.ini

• server_host=cdh1

• server_port=7182

• 配置CM server

• 拷贝/usr/share/java/mysql-connector-java.jar

• grant授权：

• GRANT ALL PRIVILEGES ON . TO 'scm'@'%' identified by 'scm' WITH GRANT OPTION; flush privileges;

• /opt/cloudera-manager/cm-5.15.1/share/cmf/schema/scmpreparedatabase.sh mysql -h 172.27.0.2 -uscm -pscm --scm-host VM02centos scm scm scm

• 格式：数据库类型、数据库、数据库服务器、用户名、密码、cm server服务器

• 创建parcel目录

• Server 节点

• mkdir -p /opt/cloudera/parcel-repo

• chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

• Agent 节点

• mkdir -p /opt/cloudera/parcels

• chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

• 制作CDH本地源

• 下载文件存放到/opt/cloudera/parcel-repo

• CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel 

• CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel.sha 

• manifest.json

• 启动CM server、agent

• /opt/cloudera-manager/cm-5.15.1/etc/init.d/cloudera-scm-server start

• /opt/cloudera-manager/cm-5.15.1/etc/init.d/cloudera-scm-agent start

• CDH集群安装——页面配置

• 启动完成

• http://IP:7180/cmf/login

• 默认用户名密码：admin/admin