FlinkSQL之Windowing TVF
摘要：Windowing TVF 在Flink1.13版本之后出现的替代之前的Group window的产物，官网描述其 is more powerful and effective //TVF 中的tumble滚动窗口 //tumble(table sensor,descriptor(et),inter
阅读全文
posted @
2022-11-01 19:34
再美不及姑娘你
阅读(547)
推荐(0) 编辑
FlinkSql之TableAPI详解
摘要：一、FlinkSql的概念 核心概念 Flink 的 Table API 和 SQL 是流批统一的 API。 这意味着 Table API & SQL 在无论有限的批式输入还是无限的流式输入下，都具有相同的语义。 因为传统的关系代数以及 SQL 最开始都是为了批式处理而设计的， 关系型查询在流式场景
阅读全文
posted @
2022-10-31 20:43
再美不及姑娘你
阅读(602)
推荐(0) 编辑
Flink之状态编程
摘要：状态编程是Flink最出色的功能没有之一 一、什么是状态？ 在流式计算中有些操作一次处理一个独立的事件(比如解析一个事件), 有些操作却需要记住多个事件的信息(比如窗口操作). 那些需要记住多个事件信息的操作就是有状态的. 流式计算分为无状态计算和有状态计算两种情况 无状态计算：无状态的计算观察每个
阅读全文
posted @
2022-10-27 11:02
再美不及姑娘你
阅读(581)
推荐(0) 编辑
Hive中Hql关于行转列及列转行的综合应用
摘要：建表语句 create table user_tag_merge ( uid int, gender String, agegroup String, favor String ) row format delimited fields terminated by '\t' 导入数据 insert
阅读全文
posted @
2022-10-17 10:41
再美不及姑娘你
阅读(151)
推荐(0) 编辑
关于sparksql调优的一些操作
摘要：1、查看执行计划 1、直接sql查看: explain select ... from ... 2、ds.explain()2、执行计划的处理流程 sql代码 -> 未决断的逻辑执行计划 -> 根据元数据生成已决断的逻辑执行计划 -> 生成物理执行计划 -> 模型评估 -> 选择物理执行计划 ->
阅读全文
posted @
2022-09-21 11:21
再美不及姑娘你
阅读(2365)
推荐(0) 编辑
管理
