摘要：
org.apache.kylin.engine.mr.exception.MapReduceException: Exception: java.net.ConnectException: Call From dxt102/192.168.1.102 to 0.0.0.0:10020 failed 阅读全文
摘要：
拉链表测试： 有如下测试数据 --2019/12/1号订单的全量数据 id status create_time operation_time 1 待支付 2019-12-01 2 待支付 2019-12-01 3 已支付 2019-12-01 --2019/12/2号订单的全量数据 id stat 阅读全文
摘要：
拉链表记录每条信息的生命周期，一旦记录的生命周期结束，就重新开始一条新记录，并且把当前日期作为新记录生效开始日期。如果当前信息至今有效，在生命周期结束中填入一个极大值(‘9999-99-99’)。应用场景：1需要查看某些业务信息的某一个时间点当日的信息2数据会发生变化，但是大部分是不变的，无法做每日 阅读全文
摘要：
大表和小表关联查询可以采用mapjoin优化查询速度。那什么是mapjoin呢？理解MapJoin之前先介绍另一种Join方式，CommonJoin。我们知道Hive编写SQL语句，Hive会将SQL解析成MapReduce任务。对于一个简单的关联查询，CommonJoin任务设计Map阶段和Red 阅读全文
摘要：
普通的聚合函数聚合的行集是组,开窗函数聚合的行集是窗口。因此,普通的聚合函数每组(Group by)只返回一个值，而开窗函数则可为窗口中的每行都返回一个值。简单理解，就是对查询的结果多出一列，这一列可以是聚合值，也可以是排序值。 开窗函数一般分为两类,聚合开窗函数和排序开窗函数。OVER()：指定分 阅读全文
摘要：
行转列是指多行数据转换为一个列的字段。 列转行是值某一个字段转换成多行显示。 行转列 Hive行转列用到的函数：concat(str1,str2,...) --字段或字符串拼接concat_ws(sep, str1,str2) --以分隔符拼接每个字符串collect_set(col) --将某字段 阅读全文
摘要：
写shell脚本 从HDFS导数到Hive，报错如下： mismatched input '<EOF>' expecting DATA near 'load' in load statement shell代码如下： #!/bin/bash do_date=$1 APP=gmall hive=/op 阅读全文
摘要：
运行xcall.sh jps时提示，报错“bash: jps: command not found” 检查如下： 已经安装jdk，配置好jdk的环境变量，且本机执行jps命令没有问题！ 解决办法： 1.切换root用户 su root 2.创建符号链接 ln -s jps的路径 链接目标存放位置 我 阅读全文
摘要：
打开intellj 创建一个hbase Module模块 右击Add_FrameWork_Support添加Maven依赖 添加hbase的client包依赖，client的版本需要与实际的hbase版本一致。之后IDEA将会自动下载依赖包，可以在External Libraries中查看下载的依赖 阅读全文
摘要：
问题： hadoop集群不管怎么启动在hadoop管理界面都看到只有一个datanode 原因： 我hadoop集群搭建了三台机器，一台master,2台slave,slave1,slave2。slave1中间出了问题，被我删除之后，又从slave2复制了一台重新命名为slave1(这是在hadoo 阅读全文