随笔分类 - DW-ETL
摘要:Superset安装部署 1、安装python环境 superset运行要求python3.6环境 1)安装miniconda 下载地址:https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh 2)安装minicon
阅读全文
摘要:一、软件环境:操作系统:CentOS release 6.5 (Final)java版本: jdk1.8zookeeper版本: zookeeper-3.4.11kafka 版本: kafka_2.11-1.1.0.tgzmaxwell版本:maxwell-1.16.0.tar.gz注意 : 关闭所有机器的防火墙,同时注意启动可以相互telnet ip 端口二、环境部署1、安装jdkexport ...
阅读全文
摘要:上一篇解析链接如下:https://www.cnblogs.com/wcwen1990/p/9325968.html1、SQL示例1:SQL> select * from (select * from tmp1 where c >= 1) t1 left join (select * from tmp2 where b 1 and t1.e >= 2 where t1.b =CASE WH...
阅读全文
摘要:1、测试数据如下:SQL> select * from t1; a | b | c ---+----+--- 1 | 10 | 1 2 | 20 | 2 3 | 30 | 3 4 | 40 | 4 5 | 50 | 5 6 | 60 | 6(6 rows)SQL> select * from t2; a | b | d ---+----+--- 1 | 10 | 1 2 |...
阅读全文
摘要:1、触发器方式 触发器方式是普遍采取的一种增量抽取机制。该方式是根据抽取要求,在要被抽取的源表上建立插入、修改、删除3个触发器,每当源表中的数据发生变化,就被相应的触发器将变化的数据写入一个增量日志表,ETL的增量抽取则是从增量日志表中而不是直接在源表中抽取数据,同时增量日志表中抽取过的数据要及时被标记或删除。为了简单起见,增量日志表一般不存储增量数据的所有字段信息,而只是存储源表名称、更新的关键...
阅读全文
摘要:一、数据仓库数据仓库是一个面向主题的、集成的、相对稳定的、反应历史变化的数据集合,用于支持管理决策。l 面向主题:传统的数据库是面向事务处理的,而数据仓库是面向某一领域而组织的数据集合,主题是指用户关心的某一联系紧密的集合。l 集成:数据仓库中数据来源于各个离散的业务系统数据库、外部数据、非结构化数据的集合,数据仓库数据是集成的。l 相对稳定:数据仓库中的数据不应该支持dml操作,而是通过批处理方...
阅读全文