一、Linux入门 基于Linux(CentOS6.9)。 1.1 概述 Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。Linux能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。 Read More
posted @ 2023-02-15 16:50
MrSponge
Views(94)
Comments(0)
Diggs(0)
用DATEDIFF简单的实现计算用户的平均次日留存率 DATEDIFF函数介绍 用于计算计算两个DATE，DATETIME或TIMESTAMP值之间的天数 # 用法 DATEDIFF(date1,date2) #例子 mysql> SELECT DATEDIFF('2023-01-30','2023 Read More
posted @ 2023-01-30 23:02
MrSponge
Views(792)
Comments(0)
Diggs(0)
左、内、右连接可以实现多表横向合并，而UNION关键字则可以实现多表纵向合并 UNION：实现多表纵向合并（默认含去重功能） <sql查询语句1> UNION <sql查询语句2> UNION ... UNION <sql查询语句n> UNION ALL：实现多表纵向合并（不含去重功能） <sql查 Read More
posted @ 2023-01-30 21:38
MrSponge
Views(1544)
Comments(0)
Diggs(0)
SparkCore 是整个Spark 框架的核心，其他都是在此基础上扩展API 第一步，打开IDEA，新建Maven项目 第二步，增加 Scala 插件(前提：一配置好scala环境) 注意版本，Spark3.0 版本最好用 Scala2.12 版本（文本末尾有scala 环境安装包） 第三步，添加 Read More
posted @ 2023-01-29 10:30
MrSponge
Views(87)
Comments(0)
Diggs(0)
**Timeout of 60000ms expired before the position for partition tv_log-1 could be determined** 大概意思：消费kafka，在某个分区连接超时超时了60000ms 这个时候首先要检查：C:\Windows\Sy Read More
posted @ 2023-01-22 13:27
MrSponge
Views(5616)
Comments(0)
Diggs(0)
大致意思：BigDecimal类型不能直接强行转换成Float类型 当我用FlinkCDC监听数据库，对获取到的数据进行转换计算时，发生了这个报错，下面是我的代码 Float rating= (Float) valueJson.get("rating"); 解决方法：BigDecimal -> St Read More
posted @ 2023-01-15 16:01
MrSponge
Views(944)
Comments(0)
Diggs(0)
Flink CDC 1、CDC 简介 1.1 什么是CDC CDC 是Change Data Capture（变更数据获取）的简称。核心思想是，监测并捕获数据库 的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录 下来，写入到消息中间件中以供其他服务进行订阅及消费。 Read More
posted @ 2023-01-15 15:12
MrSponge
Views(1628)
Comments(0)
Diggs(0)
Flink安装部署 local本地模式-了解 原理 操作 1.下载安装包 https://archive.apache.org/dist/flink/ 2.上传flink-1.13.1-bin-scala_2.12.tgz到node1的指定目录 3.解压 tar -zxvf flink-1.13.1 Read More
posted @ 2023-01-09 15:50
MrSponge
Views(844)
Comments(0)
Diggs(1)
State-理解原理即可 Flink中状态的自动管理 之前写的Flink代码中其实已经做好了状态自动管理,如 发送hello ,得出(hello,1) 再发送hello ,得出(hello,2) 说明Flink已经自动的将当前数据和历史状态/历史结果进行了聚合,做到了状态的自动管理 在实际开发中绝大 Read More
posted @ 2023-01-09 15:44
MrSponge
Views(105)
Comments(0)
Diggs(0)
合流 1、概念 将不同流中的数据汇聚在一起，然后可以进行一个统计等相关操作。 2、基本合流操作 union和connect union算子可以合并多个同类型的数据流，并生成同类型的数据流，即可以将多个DataStream[T]合并为一个新的DataStream[T]。数据将按照先进先出（First Read More
posted @ 2023-01-09 15:40
MrSponge
Views(289)
Comments(0)
Diggs(0)
浙公网安备 33010602011771号