Rancher搭建flink集群

Service的IP

        service ip不能ping通 但可以通过service ip访问后面的服务

        

        

        You can run a JobManager (master)

        You can also run a TaskManager (worker)

        taskmanager默认会向自身的6123端口发起注册    taskmanager在30000ms内无法在jobmanager处注册就会抛出异常.

 Rancher给pod添加自定义label

           pod添加标签和在工作负载添加标签不一样   在工作负载上添加标签使当前负载下所有创建的pod都会带有此标签  在pod下添加标签只会在当前pod上生效

        

           

          

  给工作负载添加自定义DNS记录

         

        

        

非HA的flink集群搭建

       一个jobmanager

        

      多个taskmanager

           jobmanager和taskmanager的配置都是一样的  他们两者的区别在于启动的指令不一样

           jobmanager的启动命令       "$FLINK_BIN_DIR"/jobmanager.sh start-foreground

           taskmanager的启动命令      "/bin/bash","/flink/flink-1.11.1/bin/taskmanager.sh","start-foreground"

     

 

      

 

       

自动上传jar包到flink-web

  1.找到上传接口地址

        

  2.使用命令上传

      

 3.解决方案

    1.先让flink主容器处于运行状态 然后在外面(主机上)使用shell脚本调用curl命令把jar上传到flink容器中

    2.使用flink的sidecar容器来处理向flink主容器处理一些辅助功能

      

 

          

 

           

 

                

 

               

#! /bin/bash

echo "开始上传flink的jar包"
count=0

while [ $count -le 0 ]
do
  count=`ss -antp | grep 8081 | wc -l`
  echo "flink进程还在启动中......"
  sleep 3
done

echo "flink进程已经成功启动......."
curl -F 'file=@RelaAnalysisEngine.jar' http://127.0.0.1:8081/jars/upload
echo "上传jar包结束........."
tail -f /dev/null