随笔分类 -  数仓管理

数仓管理
摘要:为鉴权/血缘解析SQL语句 背景:公司的数仓是集中式数仓,大部分业务公用hive环境,少部分业务通过数仓透出的文件进行数据交换。问题:所有业务都可以访问所有的hive表,急需要权限管控。那解析各个业务提交的SQL文件就成了首要任务。 解决方案 1.Jsqlparser是一个java的jar包,可以解 阅读全文
posted @ 2023-05-27 11:02 Kotlin 阅读(514) 评论(0) 推荐(0) 编辑
摘要:LR模型快速生成SQL脚本 由于经常需要部署新LR模型,需要以SQL的方式在数仓环境中运行。固化LR模型的形式是excel文件,所以写了一个脚本解析这个excel文件,完成模型的快速SQL化 LR模型部署模板 第一行是名称列可以不用管,第二行是线性模型基础得分第三行开始:第一列是表中的列,第二列是表 阅读全文
posted @ 2023-04-27 21:07 Kotlin 阅读(84) 评论(0) 推荐(0) 编辑
摘要:生命周期管理工具 当数仓中表过于多的时候,生命周期管理就成了比较大的问题。在表里面自己去手动删除分区,表过多的时候,修改就成了很大的问题。这时候就可以做一个脚本:每天定时去删除过期的数据,不仅仅能处理这个问题,还可以减少成本 方案 hive 提供了可以自定义表属性的空间TBLPROPERTIES,我 阅读全文
posted @ 2023-04-27 20:14 Kotlin 阅读(178) 评论(0) 推荐(0) 编辑
摘要:飞书告警 登陆飞书移动端后,点击 "添加账号" 现在登陆的是管理员账号,账号只有审批权限,没有创建应用的权限 我们要切换成能创建应用的账号的权限 登陆飞书Web端 1.https://open.feishu.cn/app飞书后台,可以创建应用,但是需要管理员审批 2.https://va8ocx82 阅读全文
posted @ 2023-04-23 19:26 Kotlin 阅读(293) 评论(0) 推荐(0) 编辑
摘要:注册企业微信 填写企业微信部分信息 1.打开一下网站,填写部分信息。https://work.weixin.qq.com/wework_admin/register_wx?from=myhome_baidu 2.登陆进去后,找到"我的企业" 下拉找到 "企业ID/corpid" 这个记录一下后面会用 阅读全文
posted @ 2023-04-22 20:57 Kotlin 阅读(662) 评论(0) 推荐(0) 编辑
摘要:一:DQC核心流程 Define:数据质检规则(指标)的定义。 你要告警给谁,你要使用什么方式告警(邮件,即时消息),你的规则是什么(空值,波动)等 Measure:数据质检任务的执行 数据在哪存储:hive、mysql是基本的数据库、CK、kylin等 Analyze:数据质检结果量化及可视化展示 阅读全文
posted @ 2022-05-23 20:56 Kotlin 阅读(2241) 评论(0) 推荐(0) 编辑
摘要:邮件服务是项目中常用的,看到别人写了一个,手痒了,自己也整一个。 一:邮箱的基本协议 POP3是Post Office Protocol 3的简称,即邮局协议的第3个版本,它规定怎样将个人计算机连接到Internet的邮件服务器和下载电子邮件的电子协议。它是因特网电子邮件的第一个离线协议标准,POP 阅读全文
posted @ 2019-10-21 22:10 Kotlin 阅读(749) 评论(0) 推荐(0) 编辑

Live2D
点击右上角即可分享
微信分享提示
西雅图
13:14发布
西雅图
13:14发布
4°
东风
3级
空气质量
相对湿度
92%
今天
多云
3°/15°
周四
4°/15°
周五
4°/14°