flink启动脚本及配置的注意事项

1.执行start-cluster.sh脚本时要特别注意:

     a.当是zookeeper高可用集群时,在任何一个flink节点执行该脚本时,jobmanager会根据masters文件中的配置依次在masters文件配置节点上启动

     b.当非zookeeper高可用集群时,在任何一个flink节点执行该脚本时,jobmanager会在该节点启动,无论该节点是否为规划的jobmanager节点

2.flink-conf.yml中jobmanager.rpc.address的配置也要特别注意,当jobmanager节点配置成localhost时,通过netstat查看6123端口,发现监听ip是0.0.0.0,此时也能正常跟其他节点taskmanager建立连接,但是打开jobmanager的日志,你会发现它将连接信息丢弃了,导致别的节点taskmanager即便配置的是正确jobmanager.rpc.address(非localhost),也无法正常与该jobmanager节点通信;

jobmanager节点配置(实际ip:10.9.1.15):

  

 taskmanager节点(真实ip:10.9.1.17):

 3.hostname的问题:建议将jobmanager.rpc.address以及masters/slavers中的ip都配置成hostname

    替换原因:在多网卡的节点很有可能存在配置的ip与hostname不对应,此时taskmanager无法正常工作,提交任务会报申请不到slot,但是看web端界面显示槽位正常;通过查看jobmanager的日志可以发现实际上,taskmanager没有正常注册成功;

 

posted @ 2020-12-17 16:16  一直爬行的蜗牛牛  阅读(1833)  评论(0编辑  收藏  举报