摘要： 转载自：https://blog.csdn.net/godlovedaniel/article/details/113845599 窗口函数（Window Function）是 SQL2003 标准中定义的一项新特性，并在 SQL2011、SQL2016 中又加以完善，添加了若干处拓展。窗口函数不同 阅读全文

摘要： 1） spark中只有特定的算子会触发shuffle，shuffle会在不同的分区间重新分配数据！ 如果出现了shuffle，会造成需要跨机器和executor传输数据，这样会导致 低效和额外的资源消耗！ 2） 和Hadoop的shuffle不同的时，数据分到哪些区是确定的，但是在区内的顺序不一定有 阅读全文

摘要： with...as...也叫做子查询部分,语句允许hive定义一个sql片段,供整个sql使用 简介 with...as...需要定义一个sql片段,会将这个片段产生的结果集保存在内存中, 后续的sql均可以访问这个结果集,作用与视图或临时表类似. 语法限制 with...as...必须和其他sql 阅读全文

摘要： 一、业务场景 spring框架应用中有些静态方法需要依赖被容器管理的类，就像这样： @Component public class Test { @Autowired private static UserService userService; public static void test() 阅读全文

摘要： 异常现象 com.alibaba.druid.pool.GetConnectionTimeoutException: wait millis 6000, active 20, maxActive 20, creating 0 异常描述 从异常现象中 com.alibaba.druid.pool.Ge 阅读全文

摘要： 一、概述 1、 hive中的Timestamp Hive在0.8的版本后开始支持Timestamp的格式。Hive在储存时间戳的时候会先把时间转成UTC的时间，然后再把转换后的时间存储到Parquet文件中。在读取Parquet文件的时候Hive会把时间从UTC时间再转化回成本地的时间。这样的话，如 阅读全文

摘要： 作用 简单说，隐式转换就是：当Scala编译器进行类型匹配时，如果找不到合适的候选，那么隐式转化提供了另外一种途径来告诉编译器如何将当前的类型转换成预期类型。话不多说，直接测试 ImplicitHelper.scala package com.donews.localspark /** * Crea 阅读全文

摘要： UDAF简介 UDAF是用户自定义聚合函数。Hive支持其用户自行开发聚合函数完成业务逻辑。 通俗点说，就是你可能需要做一些特殊的甚至是非常扭曲的逻辑聚合，但是Hive自带的聚合函数不够玩，同时也还找不到高效的等价玩法，那么，这时候就该自己写一个UDAF了。 而从实现上来看，Hive的UDAF分为两 阅读全文

摘要： 开篇介绍 在从 OLTP 业务数据库向 DW 数据仓库抽取数据的过程中，特别是第一次导入之后的每一次增量抽取往往会遇到这样的问题：业务数据库中的一些数据发生了更改，到底要不要将这些变化也反映到数据仓库中？在数据仓库中，哪些数据应该随之变化，哪些可以不用变化？考虑到这些变化，在数据仓库中的维度表又应该 阅读全文

摘要： 使用正则表达式的预编译功能，可以有效加快正则匹配速度。Pattern要定义为static final静态变量，以避免执行多次预编译。示例：【错误用法】 // 没有使用预编译 private void func(...) { if (Pattern.matches(regexRule, content 阅读全文