摘要：
一、窗口函数 聚合函数： sum() min() max() avg() 排序函数： rank() dens_rank() row_number() ntile() 统计比较函数： lead() lag() first_value() 二、窗口大小 partition by order by 三、窗 阅读全文
摘要：
1.添加maven依赖 <dependencies> <dependency> <groupId>log4j</groupId> <artifactId>log4j</artifactId> <version>1.2.17</version> </dependency> </dependencies 阅读全文
摘要：
思路：使用正则替换json数组内部json串之间的逗号。"},{" > "}|{"，再使用炸裂函数lateral view explod(split(col,"|"))将列转行，最后使用get_json_object()单独处理每个展开行的数据。 SELECT explode(split( rege 阅读全文
摘要：
引用类型的注入可以使用@Autowired@Autowired：spring框架提供的注解，实现引用类型的赋值。spring中通过注解给引用类型赋值，使用的是自动注入原理，支持byName，byType@Autowired：默认使用的是byType自动注入位置：1）在属性定义的上面，无需set方法， 阅读全文
摘要：
第一部分：一般命令模式可用的功能按键说明，光标移动、复制粘贴、查找替换等 移动光标的方法 h或向左箭头键(←) ： 光标向左移动一个字符 j或向下箭头键 (↓)： 光标向下移动一个字符 k或向上箭头键(↑)：光标向上移动一个字符 l或向右箭头键(→)：光标向右移动-一个字符 [CtrI]+[f]：屏 阅读全文
摘要：
File —> Settings —>Editor —> General —>Appearance将页面中的Show properties type hints(Scala)，Show local variable type hints(Scala)，Show obvions types(Scala 阅读全文
摘要：
大数据在进行ETL过程中，为了避免因为源、目标表字段因为数据类型不一致造成抽数失败，所以在目标表一般都会将字段设置成string类型，后续数据同步过来后再进行类型转换。 以ARRAY类型字段举例： 通过正则将字符串左右两边的中括号[]进行去除 explode(split(REGEXP_REPLACE 阅读全文
摘要：
Regular join 第一种：left join流任务中，只要left的流数据到了，就输出。如果右边流没有到，输出 [L,NULL]；如果右边流到了，输出 [L, R] 第二种：right join流任务中，只要right的流数据到了，就输出。如果左边流没有到，输出 [NULL，R]；如果右边流 阅读全文
摘要：
kafka重置消费位点一般分几种情况 重置到最新的消费位点 重置到最早的消费位点 根据时间戳重置消费位点 跟据指定偏移量重置消费位点 基于kafka 2.0.0 package com.realtime.kafka; import lombok.extern.slf4j.Slf4j; import 阅读全文
摘要：
【问题】org.apache.spark.shuffle.FetchFailedException: Connection from /172.xx.xx.xx:port closed。导致任务耗时较长。 【排查方法】查看磁盘当时使用情况 阅读全文