CDH6.2扩容
参考:
yum方式扩容:
https://www.cnblogs.com/yinzhengjie/articles/11104776.html
二进制包方式扩容:
https://www.cnblogs.com/yinzhengjie/articles/11102924.html
CDH5.12扩容
https://blog.51cto.com/flyfish225/2118098
1/ 加入host前准备
a. 在CM服务器上:
改hostname, 并加到/etc/hostname:
hostname xx
>/etc/hostname
echo "xx" >/etc/hostname
cat /etc/hostname
改cm的/etc/hosts, 推到每个hosts
可用ansible-playbook hosts_copy.yml #脚本在CDH6.2扩容ansible脚本/hosts_copy.yml,注意改脚本中hosts的范围
---
- hosts: client
tasks:
- name: copy /etc/hosts to client hosts
copy:
src: "/etc/hosts"
dest: "/etc/hosts"
force: yes
backup: yes
从CM到新节点的免密
b. 节点服务器:
优化: ucloud的话只做透明大页就可以了 , 脚本在CDH6.2扩容ansible脚本big_page1.yml
https://www.cnblogs.com/hongfeng2019/p/11271915.html
ansible newclient -m shell -a "echo never > /sys/kernel/mm/transparent_hugepage/defrag"
ansible newclient -m shell -a "echo never > /sys/kernel/mm/transparent_hugepage/enabled"
如果用的ufile还需要传ufile配置文件,脚本在CDH6.2扩容ansible脚本ufile_config.yml
#这个在加完节点以后做
还需要传ufile的jar包,脚本在CDH6.2扩容ansible脚本ufile_jar.yml
#如果网络环境好的话,这步可以略过,CDH6.2支持在线安装JDK和agent
安装配置和CM一样的JDK环境
安装agent并启用
2/ 查看数据库原有节点
use scm;
show tables;
SELECT * FROM HOSTS;
mysql> select * from HOSTS;
+---------+-------------------------+--------------------------------------+----------------------------+----------------+----------+--------+---------------------+-------------------+--------------------+------------+-----------+----------------------+-------------+-------------------+----------------+
| HOST_ID | OPTIMISTIC_LOCK_VERSION | HOST_IDENTIFIER | NAME | IP_ADDRESS | RACK_ID | STATUS | CONFIG_CONTAINER_ID | MAINTENANCE_COUNT | DECOMMISSION_COUNT | CLUSTER_ID | NUM_CORES | TOTAL_PHYS_MEM_BYTES | PUBLIC_NAME | PUBLIC_IP_ADDRESS | CLOUD_PROVIDER |
+---------+-------------------------+--------------------------------------+----------------------------+----------------+----------+--------+---------------------+-------------------+--------------------+------------+-----------+----------------------+-------------+-------------------+----------------+
| 1 | 7 | 3f195fb0-1188-4269-b03a-256bf5e38cd8 | zhep-opay-temp-1.novalocal | 195.189.142.89 | /default | NA | 1 | 0 | 0 | 1 | 8 | 67387305984 | NULL | NULL | NULL |
| 2 | 7 | aaf4c239-43a2-4c29-b1ad-6003f2c2df41 | zhep-opay-temp-2.novalocal | 195.189.142.83 | /default | NA | 1 | 0 | 0 | 1 | 8 | 33566556160 | NULL | NULL | NULL |
| 3 | 7 | d3883094-032f-4d25-80a2-9253cf9f39e4 | zhep-opay-temp-3.novalocal | 195.189.142.86 | /default | NA | 1 | 0 | 0 | 1 | 8 | 33566556160 | NULL | NULL | NULL |
| 4 | 7 | 237a4360-b29f-4058-9ec0-ba1cded874bf | zhep-opay-temp-4.novalocal | 195.189.142.88 | /default | NA | 1 | 0 | 0 | 1 | 8 | 33566547968 | NULL
3/ 在CM管理界面上点击主机:
点添加主机
选择你要加的集群:
由于做了免密,上面会扫描出要新添加的主机:
选安装JDK和JDK认证
#JDK如果装了,可以跳过,最好选由CM安装
上传SSH私钥:
#自动安装agent#
#Install Parcels里如果有自己的yum, 填自己的地址,没有用公网的
主机检测可能要1分钟
#主机模板选无,完成后再去CM添加
#也可建一个base-role的,选一些基础的角色
最后点完成
恭喜您,在cm界面已看到新加的节点:
完成后,调整主机模板:注意Balancer角色一个集群有一个就行了。JobHistory Server只有一个。JournalNode有三个了也可以不用
节点添加下面基本角色就可以了:
选择主机,应用上面编辑好的主机模板:
#如果用ufile的还需要在新节点配jar包:
https://www.cnblogs.com/hongfeng2019/p/11284616.html
遇到的坑:
CDH上新节点hive服务装不上,但节点上hive命令行正常
mkdir -p /etc/hive/auxlib
tailf cloudera-scm-server.log 看报错也没有什么有用的信息,只是说hive服务失败
没有目录,在节点上建立一个,重启成功
mkdir -p /etc/hive/auxlib