再美不及姑娘你

2022年11月1日

摘要： Windowing TVF 在Flink1.13版本之后出现的替代之前的Group window的产物，官网描述其 is more powerful and effective //TVF 中的tumble滚动窗口 //tumble(table sensor,descriptor(et),inter 阅读全文

posted @ 2022-11-01 19:34 再美不及姑娘你阅读(547) 评论(0) 推荐(0) 编辑

2022年10月31日

FlinkSql之TableAPI详解

摘要：一、FlinkSql的概念核心概念 Flink 的 Table API 和 SQL 是流批统一的 API。这意味着 Table API & SQL 在无论有限的批式输入还是无限的流式输入下，都具有相同的语义。因为传统的关系代数以及 SQL 最开始都是为了批式处理而设计的，关系型查询在流式场景阅读全文

posted @ 2022-10-31 20:43 再美不及姑娘你阅读(601) 评论(0) 推荐(0) 编辑

2022年10月27日

Flink之状态编程

摘要：状态编程是Flink最出色的功能没有之一一、什么是状态？在流式计算中有些操作一次处理一个独立的事件(比如解析一个事件), 有些操作却需要记住多个事件的信息(比如窗口操作). 那些需要记住多个事件信息的操作就是有状态的. 流式计算分为无状态计算和有状态计算两种情况无状态计算：无状态的计算观察每个阅读全文

posted @ 2022-10-27 11:02 再美不及姑娘你阅读(581) 评论(0) 推荐(0) 编辑

2022年10月22日

Flink如何使用DataStreamAPI消费Kafka

摘要： 1、到官网查询所在版本的依赖，导入pom.xml(在此用Flink1.13) 官网->教程->connectors->datastream->kafka 网址：https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/docs/con 阅读全文

posted @ 2022-10-22 17:00 再美不及姑娘你阅读(1289) 评论(0) 推荐(0) 编辑

2022年10月17日

Hive中Hql关于行转列及列转行的综合应用

摘要：建表语句 create table user_tag_merge ( uid int, gender String, agegroup String, favor String ) row format delimited fields terminated by '\t' 导入数据 insert 阅读全文

posted @ 2022-10-17 10:41 再美不及姑娘你阅读(151) 评论(0) 推荐(0) 编辑

2022年9月21日

Hive报错FAILED:Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Spark job failed during runtime. Please check stacktrace for the root cause.

摘要：问题出现原因：这个错误是因为hive的map join参数默认是开启的： hive.auto.convert.join=true使用hive进行map join时，节点内存不够就会报该类型错误。 MapJoin是指在Map 端进行join，其原理是broadcast join，即把小表作为一个完阅读全文

posted @ 2022-09-21 17:15 再美不及姑娘你阅读(2894) 评论(1) 推荐(1) 编辑

关于sparksql调优的一些操作

摘要： 1、查看执行计划 1、直接sql查看: explain select ... from ... 2、ds.explain()2、执行计划的处理流程 sql代码 -> 未决断的逻辑执行计划 -> 根据元数据生成已决断的逻辑执行计划 -> 生成物理执行计划 -> 模型评估 -> 选择物理执行计划 -> 阅读全文

posted @ 2022-09-21 11:21 再美不及姑娘你阅读(2365) 评论(0) 推荐(0) 编辑

2022年7月15日

Linux的目录结构

摘要： Linux的文件系统是采用级层式的树状目录结构，在此结构中的最上层是根目录“/”，然后在此目录下再创建其他的目录，在Java中是一切皆对象，在linux中是一切皆文件 1. 具体的目录结构 /bin:存放经常用的命令 /sbin(/user/sbin、/user/local/sbin):存放系统管阅读全文

posted @ 2022-07-15 19:57 再美不及姑娘你阅读(290) 评论(0) 推荐(0) 编辑

2022年7月13日

maven配置步骤及问题

摘要：一、Maven->conf->settings.xml文件配置 E:\szsgg\video\4maven\apache-maven-3.5.4\conf\setting配置 1. 配置本地仓库 <localRepository>E:\szsgg\video\4maven\repo</localRe 阅读全文

posted @ 2022-07-13 18:41 再美不及姑娘你阅读(235) 评论(0) 推荐(0) 编辑

2022年7月12日

JDBC——增删改查及开启事务操作

摘要： 1.在JDBC中进行对mysql的添加数据 public void test() throws SQLException { //获取对象 Connection connection = JDBCutil.getConnection(); //写sql String sql="insert into 阅读全文

posted @ 2022-07-12 13:50 再美不及姑娘你阅读(419) 评论(0) 推荐(0) 编辑

1. Re:Hive报错FAILED:Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Spark job failed during runtime. Please check stacktrace for the root cause.
实测有用：
set hive.auto.convert.join=false;
--极客青年
2. Re:Java案例——随机点名器
已学习
--温暖你的温暖
3. Re:Java思考——如何使用Comparable按照我们指定的规则排序？
@永远放不开谢谢前辈指导，本身也是个初学者，能有前辈指出错误并给予建议，我不胜感激！...
--再美不及姑娘李
4. Re:Java思考——如何使用Comparable按照我们指定的规则排序？
文章有少许错误。(错误如下：1.TreeSet集合存储自定义对象时，无参构造方法使用的是自然排序也就是按照存储元素的顺序进行排序) 正确的总结：使用TreeSet时，要么实现Comparable接口，...
--永远放不开
5. Re:Java基础——LinkedList集合的特有功能
@舟思水 Java从入门到精通这个看个人了，每个人的学习习惯不一样，你也可以到这个网站看一看也是我主要学习的地方pdai.tech...
--再美不及姑娘李

搜索

常用链接

最新随笔

随笔分类

随笔档案

文章分类

阅读排行榜

评论排行榜

推荐排行榜

最新评论