04 2020 档案

摘要:一、superset的基本介绍 1、super工作原理: 用户通过浏览器访问superset的ui界面 > flask开发的web应用发送请求 > 对接数据源摄取数据 > 返回数据到浏览器 > nvd3.js可视化数据 2、安装: 环境要求: superset安装环境必须有python3.6版本左右 阅读全文
posted @ 2020-04-13 22:08 七寸青衫 阅读(817) 评论(0) 推荐(1) 编辑
摘要:nohup 和&配合使用 具体使用不做介绍 参考:https://www.jianshu.com/p/93a45927f013 这里说一下在shell脚本中 nohup &不起作用 一直输出在控制台的情况 脚本: 执行效果: 将命令传入变量,然后调用变量 修改脚本: 执行效果: 阅读全文
posted @ 2020-04-07 23:55 七寸青衫 阅读(1898) 评论(0) 推荐(0) 编辑
摘要:动态分区与半自动分区要求: ①默认hive是不允许动态分区的,需要设置set hive.exec.dynamic.partition.mode=nonstrict ②分区列必须位于查询的最后一个字段 ③select字段的个数要<=表的字段个数+1 静态分区: insert overwrite 表名 阅读全文
posted @ 2020-04-07 00:14 七寸青衫 阅读(409) 评论(0) 推荐(0) 编辑
摘要:一、数仓为什么要分层? 1、分层解耦,可以让开发思路更加清晰,复杂问题简单化(出错时,可以精确定位数据) 2、节省重复开发 3、脱敏 二、数仓的分层 以5层数仓为例 ODS层:原始数据层,原始数据原封不动的直接导入! DWD层:基于ODS层,将原始数据进行清洗,筛选后的数据,把其中的明细打开 例如: 阅读全文
posted @ 2020-04-04 16:42 七寸青衫 阅读(1124) 评论(0) 推荐(0) 编辑
摘要:一、数据同步策略的类型包括:全量表,增量表,新增及变化表 1、全量表:存储完整的数据 2、增量表:存储新增加的数据 3、新增及变化表:存储新增加的数据和变化的数据 4、特殊表:只需要存储一次的数据 二、全量同步策略 全量同步策略: 每日全量,就是每天存储一份完整的数据,作为一个分区 适用于表中数据量 阅读全文
posted @ 2020-04-04 16:29 七寸青衫 阅读(883) 评论(0) 推荐(0) 编辑
摘要:top 查看内存 具体解释:看大佬的https://blog.csdn.net/yjclsx/article/details/81508455 通过对应的pid查找对应的进程 找啊找啊 找不到 咋办呐。。 找到了。。。 没有任务在进行,但是占用还是很高 释放一下内存吧 有改善,只是稍微好一点点。。 阅读全文
posted @ 2020-04-01 01:01 七寸青衫 阅读(127) 评论(0) 推荐(0) 编辑

loading: { rebound: { tension: 16, }, spinner: { id: 'spinner', radius: 90, } }
点击右上角即可分享
微信分享提示