Doris 高可用集群的部署
Doris 高可用集群的部署
一、主机规划
IP | 主机名 | 安装包 |
---|---|---|
10.207.228.64 | doris-1 | FE、BE、Broker |
10.207.228.194 | doris-2 | FE、BE、Broker |
10.207.228.197 | doris-3 | FE、BE、Broker |
二、JDK 部署
(1) 下载安装包
jdk-8u301-linux-x64.tar.gz
(2) 解压
tar -xf jdk-8u301-linux-x64.tar.gz -C /app
(3) 配置环境变量
cat > /etc/profile.d/jdk.sh << EOF
export JAVA_HOME=/app/jdk1.8.0_301
export PATH=$PATH:$JAVA_HOME/bin
EOF
(4) 使环境变量生效
source /etc/profile.d/jdk.sh
(5) 验证
java -version
三、Doris 高可用集群的部署
3.1、安装包准备
在其中一个节点上操作,以10.207.228.64为例
(1) 准备安装包
apache-doris-0.15.1.tar.gz
(2) 解压
tar -xf apache-doris-0.15.1.tar.gz -C /app
(3) 修改 FE 配置文件
grep -vE "^$|^#" /app/apache-doris-0.15.1/fe/conf/fe.conf
LOG_DIR = ${DORIS_HOME}/log
DATE = `date +%Y%m%d-%H%M%S`
JAVA_OPTS="-Xmx4096m -XX:+UseMembar -XX:SurvivorRatio=8 -XX:MaxTenuringThreshold=7 -XX:+PrintGCDateStamps -XX:+PrintGCDetails -XX
:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:+CMSClassUnloadingEnabled -XX:-CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFract
ion=80 -XX:SoftRefLRUPolicyMSPerMB=0 -Xloggc:$DORIS_HOME/log/fe.gc.log.$DATE"
JAVA_OPTS_FOR_JDK_9="-Xmx4096m -XX:SurvivorRatio=8 -XX:MaxTenuringThreshold=7 -XX:+CMSClassUnloadingEnabled -XX:-CMSParallelRemar
kEnabled -XX:CMSInitiatingOccupancyFraction=80 -XX:SoftRefLRUPolicyMSPerMB=0 -Xlog:gc*:$DORIS_HOME/log/fe.gc.log.$DATE:time"
sys_log_level = INFO
http_port = 8030
rpc_port = 9020
query_port = 9030
edit_log_port = 9010
mysql_service_nio_enabled = true
priority_networks = 10.207.228.0/22 #添加此项,网段为当前主机网段
(4) 创建BE数据存储路径,并修改 BE 配置文件
mkdir /app/apache-doris-0.15.1/storage
grep -vE "^$|^#" /app/apache-doris-0.15.1/be/conf/be.conf
PPROF_TMPDIR="$DORIS_HOME/log/"
sys_log_level = INFO
be_port = 9060
webserver_port = 8040
heartbeat_service_port = 9050
brpc_port = 8060
storage_root_path = /app/apache-doris-0.15.1/storage #添加此项
(5) 将修改好的了包传至其它节点
cd /app
tar -czvf apache-dorios-0.15.1-new.tar.gz apache-doris-0.15.1
#使用scp传包,需要事先知道用户密码
scp apache-dorios-0.15.1-new.tar.gz 10.207.228.194:/app
scp apache-dorios-0.15.1-new.tar.gz 10.207.228.197:/app
#建议使用以下方式传包
#在包所在服务器上执行
python -m SimpleHTTPServer 12345 #如果默认python为python2
python -m http.server 12345 #如果默认python为python3
wget http://10.207.228.194:12345/apache-dorios-0.15.1-new.tar.gz #其它节点获取包
3.2、单节点搭建
在其中一个节点上操作,以10.207.228.64为例
(1) 启动 FE
/app/apache-doris-0.15.1/fe/bin/start_fe.sh --daemon
(2) 启动 BE
/app/apache-doris-0.15.1/be/bin/start_be.sh --daemon
(3) 启动 Broker
Broker 是用于访问外部数据源(如 hdfs)的进程。通常,在每台机器上部署一个 broker 实例即可。
/app/apache-doris-0.15.1/apache_hdfs_broker/bin/start_broker.sh --daemon
(4) 安装 mysql 客户端
yum install -y mysql
(5) mysql 连接 FE ,并添加 BE 节点与 Broker 节点
#root密码默认为空
mysql -h 127.0.0.1 -P 9030 -uroot -p
#查看当前集群的FE节点
> SHOW FRONTENDS;
#添加BE节点 ALTER SYSTEM ADD BACKEND "be_host:be_heartbeat_service_port";
> ALTER SYSTEM ADD BACKEND "10.207.228.64:9050";
#查看当前集群的BE节点
> SHOW BACKENDS;
#添加Broker节点 ALTER SYSTEM ADD BROKER broker_name "host:port";
> ALTER SYSTEM ADD BROKER my_broker "10.207.228.64:8000";
#查看当前集群的Broker节点
> SHOW BROKER;
(6) web 管理
#FE web,默认用户root,密码空
http://10.207.228.64:8030
#BE web
http://10.207.228.64:8040/
3.3、高可用部署
FE 的高可用集群采用主从复制架构,可避免FE单点故障。 FE 采用了类 raft 的 bdbje 协议完成选主,日志复制和故障切换。
FE 分为 Leader,Follower 和 Observer 三种角色。 默认一个集群,只能有一个 Leader,可以有多个 Follower 和 Observer。Follower 和 Observer 组成一个 Paxos 选择组;前者为复制协议的可投票成员,参与选主和提交日志,一般数量为奇数(2n+1), 使用多数派(n+1)确认,可容忍少数派(n)故障;而后者属于非投票成员,用于异步订阅复制日志,Observer 的状态落后于 Follower ,类似其他复制协议中的learner角色。
FE 节点数据至少为1(1 个 Follower)。当部署 1 个 Follower 和 1 个 Observer 时,可以实现读高可用。当部署 3 个 Follower 时,可以实现读写高可用(HA)。Follower 的数量必须为奇数,Observer 数量随意。
FE 集群从 Follower 中自动选出 Master 节点,所有更改状态操作都由 Master 节点执行, 从 FE 的 Master 节点可以读到最新的状态。更改操作可以从非 Master 节点发起,继而转发给 Master 节点执行, 非 Master 节点记录最近一次更改操作在复制日志中的 LSN ,读操作可以直接在非 Master 节点上执行,但需要等待非 Master 节点的状态已经同步到最近一次更改操作的 LSN,因此读写非 Master 节点满足顺序一致性。
Observer 节点能够增加FE集群的读负载能力,时效性要求放宽的非紧要用户可以读 Observer 节点。
FE 节点之间的时钟相差不能超过5s, 使用 NTP 协议校准时间。
3.3.1、FE 节点的扩容
一个机器上只能部署一个 FE ,因为所有 FE 节点的 http_port 需要相同,可以部署多个 BE 或者 FE + BE 。
(1) 新节点启动 FE
FE 节点首次启动时,需要指定现有集群中的一个节点作为 helper 节点,从该节点获得集群的所有 FE 节点的配置信息,才能建立通信连接,因此首次启动需要指定 --helper 参数。目前我们只搭好了一个主节点,所以使用 10.207.228.64 这台作为 helper 节点。
根据主机规划,在另两个节点上执行:
#首次启动,必需使用--helper参数,不然后续加入集群不成功
#注意修改helper节点的IP为第一台已经装好了的节点IP
/app/apache-doris-0.15.1/fe/bin/start_fe.sh --helper 10.207.228.64:9010 --daemon
#之后可以按以下方式启动
/app/apache-doris-0.15.1/fe/bin/start_fe.sh --daemon
(2) 在 10.207.228.64 上扩容 FE 节点
#root密码默认为空
mysql -h 127.0.0.1 -P 9030 -uroot -p
#扩容FE节点,可以将新节点添加为follower
> ALTER SYSTEM ADD FOLLOWER "10.207.228.194:9010";
#或新节点添加为observer
> ALTER SYSTEM ADD OBSERVER "10.207.228.197:9010";
#查看集群的FE节点
> SHOW FRONTENDS;
3.3.2、BE 节点的扩容
(1) 新节点启动 BE
根据主机规划,在另两个节点上执行:
/app/apache-doris-0.15.1/be/bin/start_be.sh --daemon
(2) 在 10.207.228.64 上扩容 BE 节点
#root密码默认为空
mysql -h 127.0.0.1 -P 9030 -uroot -p
#扩容BE节点
> ALTER SYSTEM ADD BACKEND "10.207.228.194:9050";
> ALTER SYSTEM ADD BACKEND "10.207.228.197:9050";
#查看当前集群的BE节点
> SHOW BACKENDS;
3.3.3、Broker 节点的扩容
(1) 新节点启动 Broker
根据主机规划,在另两个节点上执行:
/app/apache-doris-0.15.1/apache_hdfs_broker/bin/start_broker.sh --daemon
(2) 在 10.207.228.64 上扩容 Broker 节点
#root密码默认为空
mysql -h 127.0.0.1 -P 9030 -uroot -p
#扩容BE节点
> ALTER SYSTEM ADD BROKER MY_BROKER "10.207.228.194:8000";
> ALTER SYSTEM ADD BROKER MY_BROKER "10.207.228.197:8000";
#查看当前集群的BROKER节点
> SHOW BROKER;
(3) 简单测试使用 load broker 从 hdfs 导入数据至 doris
#建库建表
> create database example_db;
> CREATE TABLE example_db.table_hash
(
k1 BOOLEAN,
k2 TINYINT,
k3 DECIMAL(10, 2) DEFAULT "10.5",
v1 CHAR(10) REPLACE,
v2 INT SUM
)
ENGINE=olap
AGGREGATE KEY(k1, k2, k3)
COMMENT "my first doris table"
DISTRIBUTED BY HASH(k1) BUCKETS 32;
#在hdfs上创建一个txt文件
cat hytest.txt
0,100,9,xxx
1,200,8,sss
0,300,7,bbb
hdfs dfs -put hytest.txt hdfs://10.202.77.201:8020/tmp/hy/
#使用load broker导入数据
> LOAD LABEL example_db.label_filter
(
DATA INFILE("hdfs://10.202.77.201:8020/hive/warehouse/sfbdp/TMP/tmp_test_etl/emp_dept")
INTO TABLE `table_hash`
COLUMNS TERMINATED BY ","
(k1,k2,v1,v2)
)
with broker 'my_broker' (
"username"="root",
"password"=""
);
#查看导入情况
> SHOW LOAD FROM example_db order by createtime desc limit 1\G;