doris配置自动拉起服务-supervisor

服务自动拉起

本文档主要介绍如何配置 Doris 集群的自动拉起，保证生产环境中出现特殊情况导致服务宕机后未及时拉起服务从而影响到业务的正常运行。

Doris 集群必须完全搭建完成后再配置 FE 和 BE 的自动拉起服务。

Supervisor 配置 Doris 服务​

Supervisor 具体使用以及参数解析可以参考这里

Supervisor 配置自动拉起可以使用 yum 命令直接安装，也可以通过 pip 手工安装，pip 手工安装流程比较复杂，只展示 yum 方式部署，手工部署请参考这里进行安装部署。

配置步骤​

1. yum 安装 supervisor

   yum install epel-release
   yum install -y supervisor
   

    

2. 启动服务并查看状态

   systemctl enable supervisord # 开机自启动
   systemctl start supervisord # 启动 supervisord 服务
   systemctl status supervisord # 查看 supervisord 服务状态
   ps -ef|grep supervisord # 查看是否存在 supervisord 进程
   

    

3. 配置 BE 进程管理

   修改 start_be.sh 脚本，去掉最后的 & 符号
   
   vim /path/doris/be/bin/start_be.sh
   将 nohup $LIMIT ${DORIS_HOME}/lib/palo_be "$@" >> $LOG_DIR/be.out 2>&1 </dev/null &
   修改为 nohup $LIMIT ${DORIS_HOME}/lib/palo_be "$@" >> $LOG_DIR/be.out 2>&1 </dev/null
   

    

   配置著配置文件supervisor.conf

   # 1、编辑
   vim /etc/supervisor/supervisor.conf
   在[supervisord]下
   minfds=65535
   
   
   # 2、将jdk环境变量写进be.conf的配置文件中
   分别在 fe.conf 和 be.conf 中添加 JAVA_HOME 变量配置
   echo "JAVA_HOME=your_java_home" >> /home/doris/be/conf/be.conf
    
    
    
   注意上面两个步骤很重要、不然会报：
   Exited too quickly(process log may have details)

    

   创建 BE 的 supervisor 进程管理配置文件

   vim /etc/supervisord.d/doris-be.ini
   
   [program:doris_be]      
   process_name=%(program_name)s      
   directory=/path/doris/be/be
   command=sh /path/doris/be/bin/start_be.sh
   autostart=true
   autorestart=true
   user=root
   numprocs=1
   startretries=3
   stopasgroup=true
   killasgroup=true
   startsecs=5
   #redirect_stderr = true
   #stdout_logfile_maxbytes = 20MB
   #stdout_logfile_backups = 10
   #stdout_logfile=/var/log/supervisor-palo_be.log
   

    

4. 配置 FE 进程管理

   修改 start_fe.sh 脚本，去掉最后的 & 符号
   
   vim /path/doris/fe/bin/start_fe.sh 
   将 nohup $LIMIT $JAVA $final_java_opt org.apache.doris.PaloFe ${HELPER} "$@" >> $LOG_DIR/fe.out 2>&1 </dev/null &
   修改为 nohup $LIMIT $JAVA $final_java_opt org.apache.doris.PaloFe ${HELPER} "$@" >> $LOG_DIR/fe.out 2>&1 </dev/null
   

    

   创建 FE 的 supervisor 进程管理配置文件

   vim /etc/supervisord.d/doris-fe.ini
   
   [program:PaloFe]
   environment = JAVA_HOME="/path/jdk8"
   process_name=PaloFe
   directory=/path/doris/fe
   command=sh /path/doris/fe/bin/start_fe.sh
   autostart=true
   autorestart=true
   user=root
   numprocs=1
   startretries=3
   stopasgroup=true
   killasgroup=true
   startsecs=10
   #redirect_stderr=true
   #stdout_logfile_maxbytes=20MB
   #stdout_logfile_backups=10
   #stdout_logfile=/var/log/supervisor-PaloFe.log
   

    

5. 配置 Broker 进程管理

   修改 start_broker.sh 脚本，去掉最后的 & 符号
   
   vim /path/apache_hdfs_broker/bin/start_broker.sh
   将 nohup $LIMIT $JAVA $JAVA_OPTS org.apache.doris.broker.hdfs.BrokerBootstrap "$@" >> $BROKER_LOG_DIR/apache_hdfs_broker.out 2>&1 </dev/null &
   修改为 nohup $LIMIT $JAVA $JAVA_OPTS org.apache.doris.broker.hdfs.BrokerBootstrap "$@" >> $BROKER_LOG_DIR/apache_hdfs_broker.out 2>&1 </dev/null
   

    

   创建 Broker 的 supervisor 进程管理配置文件

   vim /etc/supervisord.d/doris-broker.ini
   
   [program:BrokerBootstrap]
   environment = JAVA_HOME="/usr/local/java"
   process_name=%(program_name)s
   directory=/path/apache_hdfs_broker
   command=sh /path/apache_hdfs_broker/bin/start_broker.sh
   autostart=true
   autorestart=true
   user=root
   numprocs=1
   startretries=3
   stopasgroup=true
   killasgroup=true
   startsecs=5
   #redirect_stderr=true
   #stdout_logfile_maxbytes=20MB
   #stdout_logfile_backups=10
   #stdout_logfile=/var/log/supervisor-BrokerBootstrap.log
   

    

6. 首先确定 Doris 服务是停止状态，然后使用 supervisor 将 Doris 自动拉起，然后确定进程是否正常启动

   supervisorctl reload # 重新加载 Supervisor 中的所有配置文件
   supervisorctl status # 查看 supervisor 状态，验证 Doris 服务进程是否正常启动
   
   其他命令 : 
   supervisorctl start all # supervisorctl start 可以开启进程
   supervisorctl stop doris-be # 通过 supervisorctl stop，停止进程
   

    

警告

注意事项：

• 如果使用 yum 安装的 supervisor 启动报错 : pkg_resources.DistributionNotFound: The 'supervisor==3.4.0' distribution was not found

  这个是 python 版本不兼容问题，通过 yum 命令直接安装的 supervisor 只支持 python2 版本，所以需要将 /usr/bin/supervisord 和 /usr/bin/supervisorctl 中文件内容开头 #!/usr/bin/python 改为 #!/usr/bin/python2，前提是要装 python2 版本
  

   

• 如果配置了 supervisor 对 Doris 进程进行自动拉起，此时如果 Doris 出现非正常因素导致 BE 节点宕机，那么此时本来应该输出到 be.out 中的错误堆栈信息会被 supervisor 拦截，需要在 supervisor 的 log 中查找来进一步分析。