摘要：
--列转行（数据对称型） --需求：将test的数据转换为如下所示： drop table test; CREATE TABLE TEST ( YEARS NUMBER, Q NUMBER, AMT NUMBER ); INSERT INTO TEST(YEARS,Q,AMT) VALUES(202 阅读全文
摘要：
构建企业级数据仓库五步法: 一、 确定主题即确定数据分析或前端展现的主题(例:某年某月某地区的啤酒销售情况)。主题要体现出某一方面的各分析角度(维度)和统计数值型数据(量度)之间的关系,确定主题时要综合考虑. 二、 确定量度确定主题后，需要考虑分析的技术指标(例:年销售额等等)。它们一般为数据值型数 阅读全文
摘要：
一个引擎：spark --目前我们使用的查询引擎是hivesql，其实是MapReduce，也就是那个java程序。--这个引擎效率不高，所以考虑使用高效的查询引擎处理数据。 --spark就是一个基于内存计算的高效的查询引擎，可以用它查询hive中的表--我们使用spark-sql spark-s 阅读全文
摘要：
•If函数: if if函数： 语法: if(boolean testCondition, T valueTrue, T valueFalseOrNull)返回值: T说明: 当条件testCondition为TRUE时，返回valueTrue；否则返回valueFalseOrNull举例：hive 阅读全文
摘要：
大数据数仓分层 create database ods; 来源数据层 create database dwd; 明细事实层 create database dim; 维度层 create database dws; 汇总层 create database ads; 应用层 传统数仓分层 create 阅读全文
摘要：
Azkaban是一个开源的任务调度系统，用于负责任务的调度运行（如数据仓库调度），用以替代linux中的crontab。Azkaban是一个分布式工作流管理器，以解决Hadoop作业依赖性问题。我们有需要按顺序运行的工作，从ETL工作到数据分析产品。 1.azkaban启动，在xshell中开启两个 阅读全文
摘要：
hive数据倾斜产⽣的原因数据倾斜的原因很⼤部分是join倾斜和聚合倾斜两⼤类⼀、Hive倾斜之group by聚合倾斜原因： 分组的维度过少，每个维度的值过多，导致处理某值的reduce耗时很久； 对⼀些类型统计的时候某种类型的数据量特别多，其他的数据类型特别少。当按照类型进⾏group by的时 阅读全文
摘要：
大数据ETL工具之sqoop Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 1、显示连接的所有库名 sq 阅读全文
摘要：
分区表： create table fzname_p ( id int, name string, age int, tel string ) PARTITIONED BY (month string) 指定分区 ROW FORMAT DELIMITED FIELDS TERMINATED BY ' 阅读全文
摘要：
shell中的比较符号如下： -eq 等于 equal-ne 不等于 no equal -gt 大于 -lt 小于ge 大于等于le 小于等于 #!/bin/bash ################################# ##创建人： ##创建时间： ##修改人： ##修改时间： ## 阅读全文