我就是这样安装大数据CDH的_____马小纪&

 

零：准备

JDK  https://download.csdn.net/download/cand_yh/10375789

CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel  http://archive.cloudera.com/cdh5/parcels/5.8.0/CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel

centos7 :https://archive.cloudera.com/cm5/cm/5/

sha   http://archive.cloudera.com/cdh5/parcels/5.8.0/CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha1

manifest.json   http://archive.cloudera.com/cdh5/parcels/5.8.0/

cm   http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.4.3_x86_64.tar.gz

一：基础配置
1、网络配置
  vi /etc/sysconfig/network-scripts/ifcfg-eth0
  vi /etc/hosts

– 2、SSH免密钥登录
  ssh-keygen big1

  yum -y install openssh-clients
  ssh-copy-id big1

– 3、防火墙关闭
  service iptables stop
  chkconfig iptables off

– 4、SELINUX关闭
  setenforce 0
  vi /etc/selinux/config (SELINUX=disabled)

5、安装JDK配置环境变量
  /usr/java

– 6、安装NTP
  yum install ntp -y
• 设置开机启动
  chkconfig ntpd on
• 设置时间同步(有外网)
  ntpdate -u ntp.sjtu.edu.cn

--设置时间同步(内网)

配置集群时间同步
    1)选择一个主节点，修改其/etc/ntp.conf
        vi /etc/ntp.conf
    在server部分添加以下参数，并注释掉server 0 ~ n
        server 127.127.1.0
        Fudge 127.127.1.0 stratum 10
    在主节点上加上以下参数
        restrict 主节点ip mask 255.255.255.0 nomodify notrap
    重启ntpd服务
    2)主节点以外，继续修改/etc/ntp.conf
    注释掉server，在server部分添加如下语句，将server指向主节点。
        server 主节点ip
        Fudge 主节点ip stratum 10
    重启ntpd服务

– 7、centos6 安装配置mysql
  sudo yum install mysql-server
  sudo /sbin/chkconfig --levels 235 mysqld on
  sudo service mysqld start
  sudo mysql_secure_installation

登录mysql
  mysql -uroot -p123456
  GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;

  grant all on *.* to 'root'@'%' identified by '123456' with grant option;
  flush privileges;

– 8、下载第三方依赖包
  yum install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb -y

CM安装
– 1、安装Cloudera Manager Server、Agent
  mkdir /opt/cloudera-manager
  tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

在这里把mysql-connector-java.jar放到cmf的lib里面去
  cp /usr/java/jdk1.7.0_80/lib/mysql-connector-java-5.1.0-bin.jar /opt/cloudera-manager/cm-5.1.3/share/cmf/lib

– 2、创建用户cloudera-scm
  useradd --system --home=/opt/cloudera-manager/cm-5.0/run/cloudera-scm-server --
  no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
– 3、配置CM Agent
• 修改文件/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini中
  server_host以及server_port

4、配置CM Server数据库
• 拷贝mysql jar文件到目录 /usr/share/java/
• 注意jar包名称要修改为mysql-connector-java.jar

初始化数据库
/opt/cloudera-manager/cm-5.4.3/share/cmf/schema/scm_prepare_database.sh mysql cdh -h shizhan1 -uroot -p123456 --scm-host shizhan1 scm scm scm   
• 格式：数据库类型、数据库、数据库服务器、用户名、密码、cm server服务器
  drop user 'temp'@'%';（这一步可以不做）

– 5、创建Parcel目录
• Server节点
  mkdir -p /opt/cloudera/parcel-repo
  chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
• Agent节点
  mkdir -p /opt/cloudera/parcels
  chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

– 6、制作CDH本地源
• 下载好文件CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel以及manifest.json，将这两个文件放到server节点的
/opt/cloudera/parcel-repo下。
• 打开manifest.json文件，里面是json格式的配置，找到与下载版本相对应的hash码，新建文件，文件名与你的

parel包名一致，并加上.sha后缀，将hash码复制到文件中保存。

解决虚拟内存的问题

echo 0 > /proc/sys/vm/swappiness

7、启动CM Server、Agent
  cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/
   ./cloudera-scm-server start
– Sever首次启动会自动创建表以及数据，不要立即关闭或重启，否则需要删除所有表及数据重新安装
   ./cloudera-scm-agent start