随笔- 15
文章- 0
评论- 1
阅读-
2805
随笔分类 - 大数据
Flink状态后端的对比及机制
摘要:1. Flink状态后端的类型: MemoryStateBackend FsStateBackend RocksDBStateBackend 2. 各状态后端对比: 2.1 MemoryStateBackend: 如果没有配置,默认使用MemoryStateBackend,此时Flink的状态会保存
阅读全文
HDFS相关问题处理
摘要:机房搬迁后datanode启动失败,报错如下: 2022-10-21 10:28:40,551 INFO org.apache.hadoop.hdfs.server.common.Storage: Lock on /HDATA/1/dfs/local/in_use.lock acquired by
阅读全文
Yarn API
摘要:Yarn API: 1. 查询整个yarn集群指标: GET http://{cluster_domain_name}|{rm_ip:8088}/ws/v1/metrics 2. 查看指定队列的所有任务: GET http://{cluster_domain_name}/{rm_ip:8088}/w
阅读全文
Yarn使用ZK做高可用
摘要:1. 目前可用的YARN resourceManager状态存储实现类有如下三个: org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore # a ZooKeeper based state-store implem
阅读全文