|NO.Z.00041|——————————|BigDataEnd|——|Hadoop&Flink.V08|——|Flink.v08|Flink State|状态原理原理剖析|状态存储|配置state backend|

一、配置 state backend
### --- state backend

~~~     我们知道 flink 提供了三个 state backend,那么如何配置使用某个 state backend 呢?
~~~     默认的配置在 conf/flink-conf.yaml 文件中 state.backend 指定,如果没有配置该值,就会使用MemoryStateBackend。默认的 state backend 可以被代码中的配置覆盖。
二、Per-job 设置
### --- 我们可以通过 StreamExecutionEnvironment 设置:

StreamExecutionEnvironment env =
    StreamExecutionEnvironment.getExecutionEnvironment();

env.setStateBackend(new
                    FsStateBackend("hdfs://namenode:40010/flink/checkpoints"));
### --- 如果想使用 RocksDBStateBackend,你需要将相关依赖加入你的 flink 程序中:

<dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-statebackend-rocksdb_2.11</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
</dependency>
三、默认设置
### --- 默认设置

~~~     # 如果没有在程序中指定,
~~~     # flink 将使用 conf/flink-conf.yaml 文件中的 state.backend 指定的 state backend ,这个值有三种配置:
~~~     jobmanager (代表 MemoryStateBackend)
~~~     filesystem (代表 FsStateBackend)
~~~     rocksdb (代表 RocksDBStateBackend)
~~~     # state.checkpoints.dir 定义了 checkpoint 时,state backend 将快照数据备份的目录

 
 
 
 
 
 
 
 
 

Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart
                                                                                                                                                   ——W.S.Landor

 

 

posted on   yanqi_vip  阅读(6)  评论(0编辑  收藏  举报

相关博文:
阅读排行:
· 无需6万激活码!GitHub神秘组织3小时极速复刻Manus,手把手教你使用OpenManus搭建本
· Manus爆火,是硬核还是营销?
· 终于写完轮子一部分:tcp代理 了,记录一下
· 别再用vector<bool>了!Google高级工程师:这可能是STL最大的设计失误
· 单元测试从入门到精通
< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

导航

统计

点击右上角即可分享
微信分享提示