摘要：
第一种Properties props = new Properties();props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, “node01:9092”);props.put(“acks”, “all”);props.put(“retries”, 0);props.put(“batch.size”, 16384);props.put(“ling... 阅读全文
摘要：
datanode启动之后，一直在汇报本机的状态信息，但是无法注册成功。经检查是 三个datanode的 datanodeUuid 一样。检查命令如下： cat /export/data/hdp/dfs/data/current/VERSION 解决：3个datanode中，删除掉2个一样的，保留一个即可。然后重新启动即可。hadoop-daemon.sh start datanode 阅读全文
摘要：
打算下载flink程序的日志看看，发现报错：yarn application -list -appStates ALL |grep Flink yarn logs -applicationId application_1554280683684_749610Log aggregation has not completed or is not enabled.解决：yarn-site.xml 配置... 阅读全文
摘要：
package window.non_keyedimport org.apache.flink.api.common.functions.FlatMapFunctionimport org.apache.flink.streaming.api.functions.source.SourceFunctionimport org.apache.flink.streaming.api.scala.Str... 阅读全文
摘要：
窗口的划分：翻滚窗口（Tumbling Window，无重叠）滚动窗口（Sliding Window，有重叠）会话窗口（Session Window，活动间隙）窗口的类型： 窗口在处理数据前，会对数据做分流，有两种控制流的方式，按照数据流划分：Keyed和Non-Keyed Windows。 Keyed Windows：就是有按照某个字段分组的数据流使用的窗口，可以理解为按照原始数据流中的... 阅读全文
摘要：
package windowimport org.apache.flink.api.common.functions.AggregateFunctionimport org.apache.flink.api.scala._import org.apache.flink.streaming.api.functions.source.SourceFunctionimport org.apache.fl... 阅读全文
摘要：
package windowimport org.apache.flink.streaming.api.functions.source.SourceFunctionimport org.apache.flink.streaming.api.scala.StreamExecutionEnvironmentimport org.apache.flink.streaming.api.windowing... 阅读全文
摘要：
package windowimport org.apache.flink.api.common.functions.AggregateFunctionimport org.apache.flink.streaming.api.functions.source.SourceFunctionimport org.apache.flink.streaming.api.scala.StreamExecu... 阅读全文
摘要：
package windowimport org.apache.flink.api.common.functions.{AggregateFunction, FoldFunction}import org.apache.flink.api.scala._import org.apache.flink.streaming.api.functions.source.SourceFunctionimpo... 阅读全文
摘要：
val helloStream: FlinkKafkaConsumer011[String] = new FlinkKafkaConsumer011[String]("hello", valueDeserializer, kafkaProps) // 指定消费策略 helloStream.setStartFromEarliest() // - 从最早的记录开始； helloStream.s... 阅读全文