flink的Standalone集群安装
1:上传安装包到linux系统
使用rz命令
2:解压
tar –zxvf flink-1.5.0-bin-hadoop24-scala_2.11.tgz
3:
jobmanager.rpc.address: hadoop01 jobmanager.rpc.port: 6123 jobmanager.heap.mb: 1024 taskmanager.heap.mb: 1024 taskmanager.numberOfTaskSlots: 2 taskmanager.memory.preallocate: false parallelism.default: 1 jobmanager.web.port: 8081 taskmanager.tmp.dirs: /opt/cdh/flink-1.5.0/tmp
配置参数解释:
jobmanager.rpc.address: localhost JobManager的外部地址,它是分布式系统的主/协调器(DEFAULT:localhost)设置成你master节点的IP地址 jobmanager.rpc.port: 6123 JobManager的端口号(DEFAULT:6123) jobmanager.heap.mb: 1024 JobManager的默认JVM堆大小(以兆字节为单位) taskmanager.heap.mb: 1024 用于TaskManagers的JVM堆大小(以兆字节为单位) taskmanager.numberOfTaskSlots: 1 每台机器可用的CPU数量(默认值:1) taskmanager.memory.preallocate: false 是否进行预分配内存,默认不进行预分配,这样在我们不使用flink集群时候不会占用集群资源 parallelism.default: 1 指定程序的默认并行度 jobmanager.web.port: 8081 JobManager的Web界面的端口(默认:8081) taskmanager.tmp.dirs:临时文件的目录
方式一:
添加一个JobManager
bin/jobmanager.sh ((start|start-foreground) cluster)|stop|stop-all
添加一个TaskManager
bin/taskmanager.sh start|start-foreground|stop|stop-all
方式二:
bin/start-cluster.sh
bin/stop-cluster.sh
bin/flink run /home/angel/flink-1.5.0/examples/batch/WordCount.jar --input /root/zookeeper.out --output /home/angel/flink_data