摘要:
周末抽时间学习 阅读全文
摘要:
将本博客文章部分同步到CSDN 阅读全文
摘要:
Flink 整合 Kafka 之 电信案例 数据 //手机号(通过md5加密的)--脱敏,网格编号,城市编号,区县编号,停留时间,进入时间,离开时间,…… D55433A437AEC8D8D3DB2BCA56E9E64392A9D93C,117210031795040,83401,8340104,3 阅读全文
摘要:
Kafka 集群架构图 通过 java(Scala) 来读写 Kafka 导入依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.11</artifactId> <version>1.0.0</version 阅读全文
摘要:
Flink 消费 Kafka 中的数据 在官网的 Connectors 中有 Kafka 1、导入依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.11</artifactI 阅读全文
摘要:
Kafka 的搭建 Kafka : 去中心化架构 1、上传、解压、配置环境变量 上传压缩包到任意节点(这里选择master) cd /usr/local/module tar -zxvf /usr/local/module/kafka_2.11-1.0.0.tgz -C /usr/local/sof 阅读全文
摘要:
Kafka 简介 实时计算的数据源 存储实时数据的工具 由Scala语言编写 去中心化架构 kafka是一个高吞吐的分布式消息系统 Apache kafka is publish-subscribe messaging rethought as a distributed commit log Ka 阅读全文
摘要:
基于 DataStream API 实现欺诈检测 实时场景 Flink的定时器 package com.shujia.flink.core import org.apache.flink.api.common.functions.RuntimeContext import org.apache.fl 阅读全文
摘要:
Flink State and Checkpoint Flink 通过 State 和 Checkpoint 来实现容错和数据处理的唯一一次 State 丰富的State API。 ValueState<T>: 保存一个可以更新和检索的值(如上所述,每个值都对应到当前的输入数据的 key,因此算子接 阅读全文
摘要:
Flink 窗口 1、Time Window 时间窗口 2、Session Window 会话窗口 如果一段时间没有数据生成一个窗口 3、Count Window 统计窗口 窗口的使用需要先分组,因为需要针对某一个key去划分窗口 Time Window 窗口的使用需要先 keyBy ,再去划分窗口 阅读全文