再美不及姑娘你
又见西风上碧树
摘要: Windowing TVF 在Flink1.13版本之后出现的替代之前的Group window的产物,官网描述其 is more powerful and effective //TVF 中的tumble滚动窗口 //tumble(table sensor,descriptor(et),inter 阅读全文
posted @ 2022-11-01 19:34 再美不及姑娘你 阅读(519) 评论(0) 推荐(0) 编辑
摘要: 一、FlinkSql的概念 核心概念 Flink 的 Table API 和 SQL 是流批统一的 API。 这意味着 Table API & SQL 在无论有限的批式输入还是无限的流式输入下,都具有相同的语义。 因为传统的关系代数以及 SQL 最开始都是为了批式处理而设计的, 关系型查询在流式场景 阅读全文
posted @ 2022-10-31 20:43 再美不及姑娘你 阅读(551) 评论(0) 推荐(0) 编辑
摘要: 状态编程是Flink最出色的功能没有之一 一、什么是状态? 在流式计算中有些操作一次处理一个独立的事件(比如解析一个事件), 有些操作却需要记住多个事件的信息(比如窗口操作). 那些需要记住多个事件信息的操作就是有状态的. 流式计算分为无状态计算和有状态计算两种情况 无状态计算:无状态的计算观察每个 阅读全文
posted @ 2022-10-27 11:02 再美不及姑娘你 阅读(568) 评论(0) 推荐(0) 编辑
摘要: 1、到官网查询所在版本的依赖,导入pom.xml(在此用Flink1.13) 官网->教程->connectors->datastream->kafka 网址:https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/docs/con 阅读全文
posted @ 2022-10-22 17:00 再美不及姑娘你 阅读(1130) 评论(0) 推荐(0) 编辑
摘要: 建表语句 create table user_tag_merge ( uid int, gender String, agegroup String, favor String ) row format delimited fields terminated by '\t' 导入数据 insert 阅读全文
posted @ 2022-10-17 10:41 再美不及姑娘你 阅读(120) 评论(0) 推荐(0) 编辑
摘要: 问题出现原因: 这个错误是因为hive的map join参数默认是开启的: hive.auto.convert.join=true使用hive进行map join时, 节点内存不够就会报该类型错误。 MapJoin是指在Map 端进行join,其原理是broadcast join,即把小表作为一个完 阅读全文
posted @ 2022-09-21 17:15 再美不及姑娘你 阅读(2300) 评论(1) 推荐(1) 编辑
摘要: 1、查看执行计划 1、直接sql查看: explain select ... from ... 2、ds.explain()2、执行计划的处理流程 sql代码 -> 未决断的逻辑执行计划 -> 根据元数据生成已决断的逻辑执行计划 -> 生成物理执行计划 -> 模型评估 -> 选择物理执行计划 -> 阅读全文
posted @ 2022-09-21 11:21 再美不及姑娘你 阅读(2149) 评论(0) 推荐(0) 编辑
摘要: Linux的文件系统是采用级层式的树状目录结构,在此结构中的最上层是根目录“/”,然后在此目录下再创建其他的目录,在Java中是一切皆对象,在linux中是一切皆文件 1. 具体的目录结构 /bin:存放 经常用的命令 /sbin(/user/sbin、/user/local/sbin):存放系统管 阅读全文
posted @ 2022-07-15 19:57 再美不及姑娘你 阅读(246) 评论(0) 推荐(0) 编辑
摘要: 一、Maven->conf->settings.xml文件配置 E:\szsgg\video\4maven\apache-maven-3.5.4\conf\setting配置 1. 配置本地仓库 <localRepository>E:\szsgg\video\4maven\repo</localRe 阅读全文
posted @ 2022-07-13 18:41 再美不及姑娘你 阅读(211) 评论(0) 推荐(0) 编辑
摘要: 1.在JDBC中进行对mysql的添加数据 public void test() throws SQLException { //获取对象 Connection connection = JDBCutil.getConnection(); //写sql String sql="insert into 阅读全文
posted @ 2022-07-12 13:50 再美不及姑娘你 阅读(399) 评论(0) 推荐(0) 编辑