摘要:
第一篇基本上都是一些异常处理、常用方式处理。 第二篇基本上钩子函数处理比较多,重点就是把SQL转成了AST标准语法树 第三篇目前来说有几点:AST转QB、QB转Operators Operators优化相关的debug了一下,但是感觉前面的还是有点不熟悉,就先暂停回顾一下 第一篇的总结 org.ap 阅读全文
摘要:
这一篇先把流程走通,后面会接着写里面的详细步骤 org.apache.hadoop.hive.ql.parse.SemanticAnalyzer analyzeInternal方法 public void analyzeInternal(ASTNode ast) throws SemanticExc 阅读全文
摘要:
经常会有这样的需求:在现有数仓表的基础上,写一些sql,然后生成hive表并同步到mysql。 次数多了,就像写一个工具完成这个工作 一:背景、功能、流程介绍 1.背景: 1.数仓使用hive存储,datax导数据、airflow调度 2.不知道怎么利用hive解析sql,拿到对应的schema,但 阅读全文
摘要:
经常会接到产品的需求:同步***表到hive,做分析。(做多了感觉很烦,就写一个工具) 一:背景、功能、流程介绍 1.背景: 1.数仓使用hive存储,datax导数据、airflow调度 2.虽然数据产品同学对datax进行了封装,可以点点点完成mysql表的同步,但是过程太复杂了 还需要自己手动 阅读全文
摘要:
一:org.apache.hadoop.hive.ql.Driver 类流程 部分方法实体较长、可以直接搜素《《很重要》》 关键字,直接看重要代码 CommandProcessorResponse方法 //重载方法,继续掉用 return run(command, false); CommandPr 阅读全文
摘要:
源码下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-3.1.3/apache-hive-3.1.3-src.tar.gz 一:org.apache.hadoop.hive.cli.CliDriver 类流程 CliDriver 是 阅读全文
摘要:
本文章持续记录工作中遇到的SQL的问题,持续更新中…… SQL常见问题 一、full join导致数据量翻倍 原因:空值会导致数据重复 错误SQL: select coalesce(a.user_id,b.user_id,c.user_id,d.user_id,e.user_id,f.user_id 阅读全文
摘要:
网站:http://md.aclickall.com/#hmd2all >关注可了解更多的教程及排版技巧。问题或建议,请公众号留言; ###代码块显示效果注:markdown对代码块的语法是开始和结束行都要添加:\`\`\`,其中 \` 为windows键盘左上角那个,如下: ```public c 阅读全文
摘要:
一:DQC核心流程 Define:数据质检规则(指标)的定义。 你要告警给谁,你要使用什么方式告警(邮件,即时消息),你的规则是什么(空值,波动)等 Measure:数据质检任务的执行 数据在哪存储:hive、mysql是基本的数据库、CK、kylin等 Analyze:数据质检结果量化及可视化展示 阅读全文
摘要:
一:di表、ds表 di表多用于事实表,例如:从数据库抽取的交易记录表,购买详单表等 实现逻辑较为简单,一般直接ETL即可。 ds表一般就是简单汇聚,例如:用户每天使用的pkg的数量表,一般直接group by 就行。 二:dd表,全量表 dd表多用于记录每日的全量状态表例如:用户账号密码表、用户通 阅读全文