CentOS7 部署Greenplum6

环境准备

3个节点，每个节点8核、32G内存、1TB硬盘

对应ip和角色划分为：

#主master
192.168.31.101 gp1

#从master，4个主segment 4个从segment
192.168.31.102 gp2

#4个主segment 4个从segment
192.168.31.103 gp3

下载GP6

地址：https://github.com/greenplum-db/gpdb/releases/download/6.19.3/open-source-greenplum-db-6.19.3-rhel7-x86_64.rpm

设置host和防火墙

在每个节点上，设置host，并修改hosts文件，执行：

hostnamectl set-hostname gp1

cat >> /etc/hosts  <<EOF
192.168.31.101 gp1
192.168.31.102 gp2
192.168.31.103 gp3
EOF

在每个节点上，设置防火墙，执行：

systemctl start firewalld && systemctl enable firewalld
#5432是gp访问端口
firewall-cmd --permanent --zone=public --add-port=5432/tcp
#10000-10010是primary端口，当前配置最多支持10个seg（？待测试），跟随PORT_BASE变化
firewall-cmd --permanent --zone=public --add-port=10000-10010/tcp
#11000-11010是mirror端口，当前配置最多支持10个seg（？待测试），跟随MIRROR_PORT_BASE变化
firewall-cmd --permanent --zone=public --add-port=11000-11010/tcp
#开启3个节点的内网互通
firewall-cmd --permanent --zone=trusted --add-source=192.168.36.57
firewall-cmd --permanent --zone=trusted --add-source=192.168.36.78
firewall-cmd --permanent --zone=trusted --add-source=192.168.36.94
#reload使配置生效
firewall-cmd --reload

新建gpadmin用户并配置免登录

在每个节点上，执行：

groupadd gpadmin && useradd -g gpadmin gpadmin && echo "gpadmin" | passwd --stdin gpadmin

在gp1节点上，执行：

su - gpadmin

ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa
ssh-copy-id gp1
ssh-copy-id gp2
ssh-copy-id gp3

修改内核配置

在每个节点上，执行：

cat >> /etc/sysctl.conf << EOF
# kernel.shmall = _PHYS_PAGES / 2 # See Shared Memory Pages
kernel.shmall = 197951838
# kernel.shmmax = kernel.shmall * PAGE_SIZE 
kernel.shmmax = 810810728448
kernel.shmmni = 4096
vm.overcommit_memory = 2 # See Segment Host Memory
vm.overcommit_ratio = 95 # See Segment Host Memory

net.ipv4.ip_local_port_range = 10000 65535 # See Port Settings
kernel.sem = 250 2048000 200 8192
kernel.sysrq = 1
kernel.core_uses_pid = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.msgmni = 2048
net.ipv4.tcp_syncookies = 1
net.ipv4.conf.default.accept_source_route = 0
net.ipv4.tcp_max_syn_backlog = 4096
net.ipv4.conf.all.arp_filter = 1
net.ipv4.ipfrag_high_thresh = 41943040
net.ipv4.ipfrag_low_thresh = 31457280
net.ipv4.ipfrag_time = 60
net.core.netdev_max_backlog = 10000
net.core.rmem_max = 2097152
net.core.wmem_max = 2097152
vm.swappiness = 10
vm.zone_reclaim_mode = 0
vm.dirty_expire_centisecs = 500
vm.dirty_writeback_centisecs = 100
vm.dirty_background_ratio = 0 # See System Memory
vm.dirty_ratio = 0
vm.dirty_background_bytes = 1610612736
vm.dirty_bytes = 4294967296
EOF

修改kernel.sem

echo "kernel.sem = 50100 128256000 50100 2560" >> /etc/sysctl.conf

修改资源限制

cat >> /etc/security/limits.conf <<EOF
* soft nofile 524288
* hard nofile 524288
* soft nproc 131072
* hard nproc 131072
EOF

修改完成后，需重启系统，使配置生效

安装GP6

在所有节点，执行：

yum update -y
yum install vim tree nload wget curl net-tools -y
yum install open-source-greenplum-db*.rpm -y

GP6初始化

新建 gpinit_config，执行：

cat > /usr/local/greenplum-db/gpinit_config << EOF
ARRAY_NAME="Greenplum Data Platform"
SEG_PREFIX=gpseg
PORT_BASE=10000    # primary端口起始
### 四个相同的目录表示在一个Segment机器上创建四个Segment实例 ###
declare -a DATA_DIRECTORY=(/data/primary /data/primary /data/primary /data/primary)
MASTER_HOSTNAME=gp1
MASTER_DIRECTORY=/data/master
MASTER_PORT=5432    ### 监听端口
TRUSTED_SHELL=ssh
CHECK_POINT_SEGMENTS=8
ENCODING=UNICODE
MIRROR_PORT_BASE=11000   ### mirror端口起始
declare -a MIRROR_DATA_DIRECTORY=(/data/mirror /data/mirror /data/mirror /data/mirror)
EOF

 新建 hostfile_segments，执行：

cat > /usr/local/greenplum-db/hostfile_segments << EOF
gp2
gp3
EOF

修改权限（所有节点），执行：

chown -R gpadmin:gpadmin /usr/local/greenplum-db*

初始化数据目录，在master（即gp1）节点，执行：

mkdir -p /data/master && chown -R gpadmin:gpadmin /data

初始化数据目录，在gp2、gp3节点，执行：

mkdir -p /data/primary && mkdir -p /data/mirror && chown -R gpadmin:gpadmin /data

初始化数据库，在master（即gp1）节点，执行：

su - gpadmin

echo 'source /usr/local/greenplum-db/greenplum_path.sh' >> ~/.bashrc
echo 'export MASTER_DATA_DIRECTORY=/data/master/gpseg-1' >> ~/.bashrc

source /usr/local/greenplum-db/greenplum_path.sh
gpinitsystem -c /usr/local/greenplum-db/gpinit_config -h /usr/local/greenplum-db/hostfile_segments

设置数据库密码，在master（即gp1）节点，执行：

su - gpadmin
source /usr/local/greenplum-db/greenplum_path.sh && psql -d postgres

然后执行SQL：

alter role gpadmin with password '1234@qweR';

开启远程访问，在master（即gp1）节点，执行：

cat >> /data/master/gpseg-1/pg_hba.conf << EOF
host     all         gpadmin        0.0.0.0/0        md5
local    all         gpadmin         md5
EOF

GP6其他操作

启动

在master（即gp1）节点，执行：

su - gpadmin
source /usr/local/greenplum-db/greenplum_path.sh && export MASTER_DATA_DIRECTORY=/data/master/gpseg-1 && gpstart

关闭

在master（即gp1）节点，执行：

su - gpadmin
source /usr/local/greenplum-db/greenplum_path.sh && export MASTER_DATA_DIRECTORY=/data/master/gpseg-1 && gpstop

远程访问

连接信息如下：

主机：192.168.31.101
端口：5432
初始数据库：postgres
用户名：gpadmin
密码：1234@qweR

问题解决

使用gpstate等命令，提示 “Error: unable to import module: No module named psutil”

解决方案：安装psutil

#下载get-pip.py，python2
wget https://bootstrap.pypa.io/pip/2.7/get-pip.py
#下载get-pip.py，python3
wget https://bootstrap.pypa.io/get-pip.py

#安装pip
python get-pip.py

#安装pstuil
pip install psutil