摘要: 周末抽时间学习 阅读全文
posted @ 2022-08-03 17:52 赤兔胭脂小吕布 阅读(113) 评论(2) 推荐(0) 编辑
摘要: 将本博客文章部分同步到CSDN 阅读全文
posted @ 2022-08-02 14:27 赤兔胭脂小吕布 阅读(47) 评论(0) 推荐(1) 编辑
摘要: Flink 整合 Kafka 之 电信案例 数据 //手机号(通过md5加密的)--脱敏,网格编号,城市编号,区县编号,停留时间,进入时间,离开时间,…… D55433A437AEC8D8D3DB2BCA56E9E64392A9D93C,117210031795040,83401,8340104,3 阅读全文
posted @ 2022-03-23 15:07 赤兔胭脂小吕布 阅读(108) 评论(0) 推荐(0) 编辑
摘要: Kafka 集群架构图 通过 java(Scala) 来读写 Kafka 导入依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.11</artifactId> <version>1.0.0</version 阅读全文
posted @ 2022-03-23 11:11 赤兔胭脂小吕布 阅读(114) 评论(0) 推荐(1) 编辑
摘要: Flink 消费 Kafka 中的数据 在官网的 Connectors 中有 Kafka 1、导入依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.11</artifactI 阅读全文
posted @ 2022-03-23 00:19 赤兔胭脂小吕布 阅读(347) 评论(0) 推荐(0) 编辑
摘要: Kafka 的搭建 Kafka : 去中心化架构 1、上传、解压、配置环境变量 上传压缩包到任意节点(这里选择master) cd /usr/local/module tar -zxvf /usr/local/module/kafka_2.11-1.0.0.tgz -C /usr/local/sof 阅读全文
posted @ 2022-03-22 23:53 赤兔胭脂小吕布 阅读(3669) 评论(0) 推荐(0) 编辑
摘要: Kafka 简介 实时计算的数据源 存储实时数据的工具 由Scala语言编写 去中心化架构 kafka是一个高吞吐的分布式消息系统 Apache kafka is publish-subscribe messaging rethought as a distributed commit log Ka 阅读全文
posted @ 2022-03-22 21:41 赤兔胭脂小吕布 阅读(259) 评论(0) 推荐(0) 编辑
摘要: 基于 DataStream API 实现欺诈检测 实时场景 Flink的定时器 package com.shujia.flink.core import org.apache.flink.api.common.functions.RuntimeContext import org.apache.fl 阅读全文
posted @ 2022-03-22 14:44 赤兔胭脂小吕布 阅读(86) 评论(0) 推荐(0) 编辑
摘要: Flink State and Checkpoint Flink 通过 State 和 Checkpoint 来实现容错和数据处理的唯一一次 State 丰富的State API。 ValueState<T>: 保存一个可以更新和检索的值(如上所述,每个值都对应到当前的输入数据的 key,因此算子接 阅读全文
posted @ 2022-03-21 23:40 赤兔胭脂小吕布 阅读(292) 评论(0) 推荐(0) 编辑
摘要: Flink 窗口 1、Time Window 时间窗口 2、Session Window 会话窗口 如果一段时间没有数据生成一个窗口 3、Count Window 统计窗口 窗口的使用需要先分组,因为需要针对某一个key去划分窗口 Time Window 窗口的使用需要先 keyBy ,再去划分窗口 阅读全文
posted @ 2022-03-21 21:05 赤兔胭脂小吕布 阅读(247) 评论(0) 推荐(0) 编辑