fxjwind

摘要： INTRODUCTION 面对的问题，3个方面， In modern distributed cloud services, resilience and scalability are increasingly achieved by decoupling compute from storage 阅读全文

摘要： https://calcite.apache.org/docs/stream.html Calcite’s SQL is an extension to standard SQL, not another ‘SQL-like’ language. The distinction is important, for several reasons: Streaming SQL is ... 阅读全文

摘要： 对于DataStream，可以选择如下的Strategy， /** * Sets the partitioning of the {@link DataStream} so that the output elements * are broadcasted to every parallel instance of the next operation. ... 阅读全文

摘要： Job资源分配的过程， 在submitJob中，会生成ExecutionGraph 最终调用到， executionGraph.scheduleForExecution(scheduler) 接着，ExecutionGraph public void scheduleForExecution(SlotProvider slotProvider) throws JobException... 阅读全文

摘要： SlotSharingGroup 表示不同的task可以共享slot，但是这是soft的约束，即也可以不在一个slot 默认情况下，整个StreamGraph都会用一个默认的“default” SlotSharingGroup，即所有的JobVertex的task都可以共用一个slot /** * A slot sharing units defines which dif... 阅读全文

摘要： JobManager作为actor， case SubmitJob(jobGraph, listeningBehaviour) => val client = sender() val jobInfo = new JobInfo(client, listeningBehaviour, System.currentTimeMillis(), jo... 阅读全文

摘要： 先看最简单的例子， final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); DataStream> stream = env.addSource(...); stream .map(new MapFunction() {...}) .add... 阅读全文

摘要： 在WindowedStream上可以执行，如reduce，aggregate，min，max等操作 关键是要理解windowOperator对KVState的运用，因为window是用它来存储window buffer的 采用不同的KVState，会有不同的效果，如ReduceState，ListState Reduce /** * Applies the gi... 阅读全文

摘要： 参考，Flink - Generating Timestamps / Watermarks watermark，只有在有window的情况下才用到，所以在window operator前加上assignTimestampsAndWatermarks即可 不一定需要从source发出 1. 首先，so 阅读全文

摘要： 看下用户注册StateMachine的过程， MapStateMachine::new这会构造一个supplier 在build中，传入初始化ServerContext ServerContext中， reset逻辑中， 这里看到stateContext的定义， 也是一个单线程，所以这里有两个thr 阅读全文