Flink集群部署

集群 standalone 安装部署

1. 下载安装包

下载页面：https://archive.apache.org/dist/flink/flink-1.7.2/

我这里安装的 flink-1.7.2-bin-hadoop27-scala_2.11.tgz 版本。

2. 修改配置文件 conf/flink-conf.yaml

修改如下两个参数：

#填你机器的host名
jobmanager.rpc.address: linux2
taskmanager.numberOfTaskSlots: 2

3. 修改配置文件/conf/slave

linux2
linux3
linux4

4. 将文件发送到其他两个机器

scp -r flink-1.7.2 linux3:/opt/lagou/servers/
scp -r flink-1.7.2 linux4:/opt/lagou/servers/

5. 给每台机器配置环境变量

vim /etc/profile

export FLINK_HOME=/opt/lagou/servers/flink-1.7.2
export PATH=$PATH:$FLINK_HOME/bin

配置完成后使配置文件生效

source /etc/profile

6. 进入 bin 目录，启动集群

./start-cluster.sh

启动完后我们可以输入网址http://linux2:8081/，验证

至此，安装完毕。

然后我们将程序放入集群环境测试。首先需要先打 jar 包，需要注意将依赖也打进去，打包插件如下：

<build>
        <plugins>
            <!-- 打jar插件 -->
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>2.4.3</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <filters>
                                <filter>
                                    <artifact>*:*</artifact>
                                    <excludes>
                                        <exclude>META-INF/*.SF</exclude>
                                        <exclude>META-INF/*.DSA</exclude>
                                        <exclude>META-INF/*.RSA</exclude>
                                    </excludes>
                                </filter>
                            </filters>
                        </configuration>
                    </execution>
                </executions>
            </plugin>

        </plugins>
    </build>

1. 打包完成后，将 jar 包上传
   

2. 选中上传的 jar 包，填入我们 main 方法的全类名，参数等等。然后点击 submit 提交任务。

3. 我们可以先使用 nc 工具向程序输入数据 nc -lk 7000
   

查看日志的输出

Yarn 模式集群部署

1. 配置 yarn-site.xml 文件，增加如下配置：

<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>
  <property>
    <name>yarn.resourcemanager.address</name>
    <value>linux2:8032</value>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>linux2:8030</value>
  </property>
  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>linux2:8031</value>
  </property>

2. 启动 hdfs

start-dfs.sh

3. 启动 yarn

start-yarn.sh

4. 进入到 flink 的 bin 目录

# -n 2代表2个task manager，tm 800代表内存800m，-s 1代表一个slots，-d代表后台运行
yarn-session.sh -n 2 -tm 800 -s 1 -d

5. 在 yarn 上提交 flink 作业

方式一：

./flink run -c com.mmc.flink.WordCountStream /export/servers/flink/examples/batch/WordCount.jar

方式二：

# -m jobmanager的地址
# -yn 表示TaskManager的个数
./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 /export/servers/flink/examples/batch/WordCount.jar

6. 关闭任务

# 找到yarn任务的id，通过命令杀掉
yarn application -kill application_1527077715040_0003