Flink/Kafka - Flink集成Kafka
一、背景介绍
本文以risk-summary项目为背景来介绍。我们主要关注step 1 和 step 2
- 以flink作为中心来看，其在step 1把kafka作为数据源(addSource)获取数据，经过flink处理后，将处理后的数据再输出(addSink)到kafka
二、Flink与Kafka的集成
2.1 引入flink与kafka集成相关的包
2.2 创建Flink上下文环境
2.3 建立Flink和Kafka的关联 - 将kafka作为flink的数据源
（1）步骤是，建立flink和kafka的消费关系
（2） 步骤是flink上下文env通过addSource把kafka作为消费数据源. 返回一个数据流DataStream.
2.4 Flink对数据进行处理
通过filter过滤
通过map转换数据类型，从PortRiskBO convert 为 RiskSummaryBO
2.5 再次建立Flink和Kafka的关联 - 将kafka作为flink的输出地
2.6 启动Flink
参考文献
FLINK基础（十）：FLINK常用的SOURCE和SINK：https://www.freesion.com/article/2162429401/
【推荐】国内首个AI IDE，深度理解中文开发场景，立即下载体验Trae
【推荐】编程新体验，更懂你的AI，立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包，你的智能百科全书，全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell：AI 加持，快人一步
· DeepSeek 开源周回顾「GitHub 热点速览」
· 物流快递公司核心技术能力-地址解析分单基础技术分享
· .NET 10首个预览版发布：重大改进与新特性概览！
· AI与.NET技术实操系列（二）：开始使用ML.NET
· 单线程的Redis速度为什么快？
2021-05-10 JavaWeb - Rest vs Restful