在Flink中，水位线可大致分为乱序流水位线和有序流水位线。实际开发中用的最多的就是乱序流水位线 在此之前，你已了解Flink在分布式环境下Watermark的传播方式 Flink官方提供的设置水位线的方法有Source之前和Source之后，这里主要介绍Source之后的方法 默认方法 通过ass Read More
首先要知道Flume中的Event是由Header + Body组成的。 Flume支持在运行时对Event进行修改或丢弃，可以通过拦截器来实现。Flume里面的拦截器是实现了 org.apache.flume.interceptor.Interceptor 接口的类。拦截器可以根据开发者的意图随意 Read More
Shell是一个命令解释器，它接收应用程序/用户命令，然后调用操作系统内核。 Shell还是一个功能相当强大的编程语言，易编写、易调试、灵活性强。 https://blog.csdn.net/Jackson00709/article/details/106086756 Shell概述 shell是一 Read More
一、Linux入门 基于Linux(CentOS6.9)。 1.1 概述 Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。Linux能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。 Read More
用DATEDIFF简单的实现计算用户的平均次日留存率 DATEDIFF函数介绍 用于计算计算两个DATE，DATETIME或TIMESTAMP值之间的天数 # 用法 DATEDIFF(date1,date2) #例子 mysql> SELECT DATEDIFF('2023-01-30','2023 Read More
左、内、右连接可以实现多表横向合并，而UNION关键字则可以实现多表纵向合并 UNION：实现多表纵向合并（默认含去重功能） <sql查询语句1> UNION <sql查询语句2> UNION ... UNION <sql查询语句n> UNION ALL：实现多表纵向合并（不含去重功能） <sql查 Read More
SparkCore 是整个Spark 框架的核心，其他都是在此基础上扩展API 第一步，打开IDEA，新建Maven项目 第二步，增加 Scala 插件(前提：一配置好scala环境) 注意版本，Spark3.0 版本最好用 Scala2.12 版本（文本末尾有scala 环境安装包） 第三步，添加 Read More
**Timeout of 60000ms expired before the position for partition tv_log-1 could be determined** 大概意思：消费kafka，在某个分区连接超时超时了60000ms 这个时候首先要检查：C:\Windows\Sy Read More
大致意思：BigDecimal类型不能直接强行转换成Float类型 当我用FlinkCDC监听数据库，对获取到的数据进行转换计算时，发生了这个报错，下面是我的代码 Float rating= (Float) valueJson.get("rating"); 解决方法：BigDecimal -> St Read More
Flink CDC 1、CDC 简介 1.1 什么是CDC CDC 是Change Data Capture（变更数据获取）的简称。核心思想是，监测并捕获数据库 的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录 下来，写入到消息中间件中以供其他服务进行订阅及消费。 Read More