CDH部署(以5.7.5为例)

博客园首发,转载请注明出处https://www.cnblogs.com/tzxxh/p/9120020.html 

一、准备工作(下面的内容括号内写master的表示仅在master节点执行,all代表所有节点都执行)

1、文件下载:

  http://archive.cloudera.com/cdh5/parcels/5.7.5/

    [CDH-5.7.5-1.cdh5.7.5.p0.3-el7.parcel、CDH-5.7.5-1.cdh5.7.5.p0.3-el7.parcel.sha1、manifest.json ]

  http://archive.cloudera.com/cm5/cm/5/

     [cloudera-manager-centos7-cm5.7.5_x86_64.tar.gz]

二、开始安装

1、修改hosts文件

2、免密码登陆

3、关闭防火墙

4、关闭selinux: sed -i 's/SELINUX=.*/SELINUX=disabled/' /etc/selinux/config

5、jdk安装 安装到 /usr/java/ 下,防止出现没必要的问题。

6、mysql安装(任意节点)--也可以使用其他节点上现有的mysql

7、mkdir /usr/share/java (master),上传mysql-connector jar包并重命名为:mysql-connector-java.jar

8、更改国内yum源,安装第三方依赖包(all):

  yum install ntp chkconfig python bind-utils psmisc libxslt zlib sqlite fuse fuse-libs redhat-lsb cyrus-sasl-plain cyrus-sasl-gssapi -y

9、同步时间: ntpdate s1a.time.edu.cn

10、解压cm tar包到指定目录(all):

  mkdir /opt/cloudera-manager
  tar -zxvf cloudera-manager-centos7-cm5.7.5_x86_64.tar.gz -C /opt/cloudera-manager

11、创建cloudera-scm用户(all):

  useradd -r -d /opt/cloudera-manager/cm-5.7.5/run/cloudera-scm-server -M -c "Cloudera SCM User" cloudera-scm

12、配置cloudera-manger-agent指向主节点服务器(all):

  vi /opt/cloudera-manager/cm-5.7.5/etc/cloudera-scm-agent/config.ini ------将server_host改为master节点所在的主机名

13、创建parcel-repo仓库目录(master):

  mkdir -p /opt/cloudera/parcel-repo
  chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
  cp CDH-5.7.5-1.cdh5.7.5.p0.3-el7.parcel CDH-5.7.5-1.cdh5.7.5.p0.3-el7.parcel.sha1 manifest.json /opt/cloudera/parcel-repo
  注意:其中CDH-5.7.5-1.cdh5.7.5.p0.3-el7.parcel.sha1 后缀要把1去掉

14、创建parcels目录(all):
  mkdir -p /opt/cloudera/parcels
  chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

15、初始脚本配置数据库scm_prepare_database.sh(master):

   /opt/cloudera-manager/cm-5.7.5/share/cmf/schema/scm_prepare_database.sh mysql -h cdh1 -u root -p1234 --scm-host cdh1 scmdbn scmdbu scmdbp
  ##在这里后面的参数分别是:数据库类型、数据库主机名、数据库用户名、密码、 cm-server主机名、自动创建的cm元数据库、用户名、密码

16、启动cloudera-scm-server(master):

  /opt/cloudera-manager/cm-5.7.5/etc/init.d/cloudera-scm-server start

17、启动cloudera-scm-agent(all):

  mkdir /opt/cloudera-manager/cm-5.7.5/run/cloudera-scm-agent
  /opt/cloudera-manager/cm-5.7.5/etc/init.d/cloudera-scm-agent start

18、访问 master:7180

posted @ 2018-06-01 08:38  许新浩  阅读(444)  评论(1编辑  收藏  举报