flink学习中遇到的问题

flink学习中遇到的问题

1、org.apache.hadoop.ipc.RemoteException(java.io.IOException)

Caused by: java.util.concurrent.ExecutionException: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /flink-checkpoints/8c274785f1ab027e6146a59364be645f/chk-1488/2c612f30-c57d-4ede-9025-9554ca11fd12 could only be replicated to 0 nodes instead of minReplication (=1). There are 3 datanode(s) running and no node(s) are excluded in this operation.

解决办法：

查看配置文件flink-config.yaml、masters、slaves的hostname,发现masters写的都是localhost:8081 改为hadoop102:8081

2、Deployment took more than 60 seconds. Please check if the requested resources are available in the YARN cluster

原因：yarn没有足够的资源进行分配，如内存，vcores等。

查看UI有两个节点处于不健康状态：

检查对应的nodeManager日志：

可以看到是创建文件失败，查看core-site配置文件，发现存储目录指定有问题

修改如下：

再格式化NN

hadoop namenode -format

结果：

（持续更新。。。）