随笔分类 -  DW-ETL

摘要:Superset安装部署 1、安装python环境 superset运行要求python3.6环境 1)安装miniconda 下载地址:https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh 2)安装minicon 阅读全文
posted @ 2019-01-01 22:46 ChavinKing 阅读(3612) 评论(0) 推荐(0) 编辑
摘要:一、软件环境:操作系统:CentOS release 6.5 (Final)java版本: jdk1.8zookeeper版本: zookeeper-3.4.11kafka 版本: kafka_2.11-1.1.0.tgzmaxwell版本:maxwell-1.16.0.tar.gz注意 : 关闭所有机器的防火墙,同时注意启动可以相互telnet ip 端口二、环境部署1、安装jdkexport ... 阅读全文
posted @ 2018-10-19 17:58 ChavinKing 阅读(3759) 评论(0) 推荐(2) 编辑
摘要:上一篇解析链接如下:https://www.cnblogs.com/wcwen1990/p/9325968.html1、SQL示例1:SQL> select * from (select * from tmp1 where c >= 1) t1 left join (select * from tmp2 where b 1 and t1.e >= 2 where t1.b =CASE WH... 阅读全文
posted @ 2018-07-20 19:33 ChavinKing 阅读(795) 评论(0) 推荐(0) 编辑
摘要:1、测试数据如下:SQL> select * from t1; a | b | c ---+----+--- 1 | 10 | 1 2 | 20 | 2 3 | 30 | 3 4 | 40 | 4 5 | 50 | 5 6 | 60 | 6(6 rows)SQL> select * from t2; a | b | d ---+----+--- 1 | 10 | 1 2 |... 阅读全文
posted @ 2018-07-17 21:15 ChavinKing 阅读(289) 评论(0) 推荐(0) 编辑
摘要:1、触发器方式 触发器方式是普遍采取的一种增量抽取机制。该方式是根据抽取要求,在要被抽取的源表上建立插入、修改、删除3个触发器,每当源表中的数据发生变化,就被相应的触发器将变化的数据写入一个增量日志表,ETL的增量抽取则是从增量日志表中而不是直接在源表中抽取数据,同时增量日志表中抽取过的数据要及时被标记或删除。为了简单起见,增量日志表一般不存储增量数据的所有字段信息,而只是存储源表名称、更新的关键... 阅读全文
posted @ 2018-03-05 11:01 ChavinKing 阅读(4754) 评论(0) 推荐(0) 编辑
摘要:一、数据仓库数据仓库是一个面向主题的、集成的、相对稳定的、反应历史变化的数据集合,用于支持管理决策。l 面向主题:传统的数据库是面向事务处理的,而数据仓库是面向某一领域而组织的数据集合,主题是指用户关心的某一联系紧密的集合。l 集成:数据仓库中数据来源于各个离散的业务系统数据库、外部数据、非结构化数据的集合,数据仓库数据是集成的。l 相对稳定:数据仓库中的数据不应该支持dml操作,而是通过批处理方... 阅读全文
posted @ 2018-03-05 01:43 ChavinKing 阅读(15630) 评论(1) 推荐(0) 编辑

点击右上角即可分享
微信分享提示