Flink1.18 Sink - 自定义sink
1.Flink1.18环境代码编写2.Flink1.18传统批处理代码编写3.flink1.18传统流处理环境编写4.flink1.18流批一体DataStream代码编写5.Flink1.18 Source - FileSource6.Flink1.18 Source - fromElements7.Flink1.18 Source - KafkaSource8.Flink1.18 Source - 数据生成器9.Flink1.18 Transfrom - Map10.Flink1.18 Transfrom - flatMap11.Flink1.18 Transfrom - Filter12.Flink1.18 Transfrom - KeyBy13.Flink1.18 Transfrom - RichFunction14.Flink1.18 Transfrom - SimpleAggregate简单聚合算子15.Flink1.18 Transfrom - Reduce16.Flink1.18 Transfrom - 分区器【7种现成】17.Flink1.18 Transfrom - CustomPartition自定义分区器18.Flink1.18 Transfrom - 分流【Filter】19.Flink1.18 Transfrom - 分流【侧输出流 ProcessFunction】20.Flink1.18 Transfrom - 合流【Union】21.Flink1.18 Transfrom - 合流【Connect, 并行度为1的情况】22.Flink1.18 Transfrom - 合流【Connect 两个流数据进行关联】23.Flink1.18 Sink - 到文件 新版本写法sinkToFile24.Flink1.18 Sink - 到Kafka 新版本写法sinkTo的使用25.Flink1.18 Sink - 到Kafka自定义序列化类 新版本写法sinkTo的使用26.Flink1.18 Sink - 到JDBC 使用新依赖【因返回值是sinkFunction, 故目前只支持addSink使用, 1.18版本不支持sinkTo】27.Flink1.18 Sink - 精确一次ExactlyOnce到JDBC 使用新依赖【因返回值是sinkFunction, 故目前只支持addSink使用, 1.18版本不支持sinkTo】
28.Flink1.18 Sink - 自定义sink
29.大数据之路Week10_day07 (JavaAPI 操作Redis 与Hbase建立索引,通过查询redis中的索引查询Hbase数据)30.大数据之路Week10_day07 (JavaAPI 操作Redis 模拟将redis当作缓存,从Mysql数据库中查询数据)package com.xiaohu.sink;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.sink.RichSinkFunction;
import org.apache.flink.streaming.api.functions.sink.SinkFunction;
/*
自定义sink
*/
public class CustomSinkDemo {
public static void main(String[] args) throws Exception {
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setParallelism(1);
DataStreamSource<String> socketSource = env.socketTextStream("master", 7777);
socketSource.addSink(new MySink());
env.execute();
}
//TODO: 实现普通SinkFunction接口
// public static class MySink implements SinkFunction<String>{
// /*
// sink的核心逻辑,写逻辑就写在这个方法里
// 注意:这个方法是来一条数据调用一次,不要在这里创建连接对象,所以一般自定义sink是继承富函数类
// */
// @Override
// public void invoke(String value, Context context) throws Exception {
// //写出逻辑:比如写到mysql
// SinkFunction.super.invoke(value, context);
// }
// }
//TODO: 继承RichXxxFunction
public static class MySink extends RichSinkFunction<String>{
@Override
public void open(Configuration parameters) throws Exception {
//任务启动,每个子任务会调用一次,在这里创建连接对象,配合状态使用
super.open(parameters);
}
@Override
public void invoke(String value, Context context) throws Exception {
super.invoke(value, context);
}
@Override
public void close() throws Exception {
//清理,销毁对象
super.close();
}
}
}
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 使用C#创建一个MCP客户端
· 分享一个免费、快速、无限量使用的满血 DeepSeek R1 模型,支持深度思考和联网搜索!
· ollama系列1:轻松3步本地部署deepseek,普通电脑可用
· 基于 Docker 搭建 FRP 内网穿透开源项目(很简单哒)
· 按钮权限的设计及实现