摘要:
知识点 Table API 和 SQL 的程序结构,与流式处理的程序结构类似;也可以近似地认为有这么 几步:首先创建执行环境,然后定义 source、transform 和 sink。 1、依赖:Table API 和 SQL 需要引入的依赖 <!-- old planner flink table 阅读全文
摘要:
1、代码案例 package window import com.yangwj.api.SensorReading import org.apache.flink.streaming.api.TimeCharacteristic import org.apache.flink.streaming.a 阅读全文
摘要:
1、代码案例 package processFunction import com.yangwj.api.SensorReading import org.apache.flink.streaming.api.functions.{ProcessFunction} import org.apache 阅读全文
摘要:
知识点: 1、Flink 提供了 8 个 Process Function: ProcessFunction KeyedProcessFunction CoProcessFunction ProcessJoinFunction BroadcastProcessFunction KeyedBroadc 阅读全文
摘要:
知识点: https://github.com/ververica/flink-cdc-connectors //官网地址https://blog.csdn.net/u012551524/article/details/108985945 1、依赖 <dependency> <groupId>org 阅读全文
摘要:
1、工具类 package com.hushuo.cdh.phoenix; import org.springframework.stereotype.Component; import java.sql.*; /** * @program: hushuo-cdh * @description: p 阅读全文
摘要:
1、tar命令打包 tar -cvf package.tar.gz --exclude=logs bin/ conf/ lib/ 2、查找目录下所有文件内容包含的字段 find ./ -type f | xargs grep -ri "2181" 3、删除目录下所有文件以.log结尾的文件 find 阅读全文
摘要:
关窗时间 情况1:如果存在lateness延迟关窗设置,则 关窗时间:最后一条数据event_time - watermark时间 - lateness时间 窗口开始计算时间: 当时数据event_time - watermark时间 如:latenes:为10分钟;窗口设置为:10分钟,步长为5; 阅读全文
摘要:
提醒: 1、连接kafka,一定要注意依赖版本,否则即使程序启动没有报错,也不会接受到数据 2、kafka依赖除了Flink和kafka的,建议加上kafka-client的依赖,对应版本也需一致 1、连接es,需要使用flink-connector-elasticsearch6_2.11、elas 阅读全文
摘要:
1、deployer基本不需要改动,只需要修改你需要同步的数据库的库表,例如: canal.instance.filter.regex=test.user 2、adapter中的application.yml配置 server: port: 8083 #可以自己修改监听端口 spring: jack 阅读全文