09 2020 档案
摘要：1、 on条件是在生成临时表时使用的条件，它不管and中的条件是否为真，都会返回左边表中的记录。 2、where条件是在临时表生成好后，再对临时表进行过滤的条件。这时已经没有left join的含义（必须返回左表的记录）了，条件不为真的就全部过滤掉。 现在有表a和表b id name 1 a 2 b
阅读全文
摘要：创建作业及运行 1）ORACLE 到 ODPS 任务 例：从 ORACLE 读取数据到 ODPS $ cd {YOUR_DATAX_HOME}/job $ vi ora_odps.json { "job": { "setting": { "speed": { "channel": "5" } },
阅读全文
摘要：1.mysql->mysql（完全同字段数据同步） 当然，实际此种情况当然可以选择navicat 1）打开spoon，连接资源库（推荐） 2）新建转换，之后在主对象树新建数据库连接并右键共享（统一数据源管理） 3）拖入一个表输入，配置连接信息，获取SQL语句，完成表输入配置（无变量情况） 4）拖一个
阅读全文
摘要：ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析的依据。 一.抽取 方法有三种: 1、利用工具,例如kettle，dataX，Informatica 等。。。 2、利用存储过程. 3、前两种工具结合. 抽
阅读全文
摘要：1.星形的中心是一个大的事实表，发散出来的是维度表，每一个维度表用一个PK-FK（主键-主外键）连接到事实表，维度表之间彼此并不关联。一个事实表又包括一些度量值和维度。 2.雪花模型通过规范维度表来减少冗余度，也就是说，维度表数据已经被分组成一个个的表而不是使用一个大表。例如产品表被分成了产品大类和
阅读全文
摘要：退化维度 一般来说事实表中的外键都对应一个维表，维的信息主要存放在维表中。但是退化维仅仅是事实表中的一列，这个维的相关信息都在这一列中，没有维表与之相关联。比如：发票号，序列号等等。 那么退化维有什么作用呢？ 1、退化维具有普通维的各种操作，比如：上卷，切片，切块等 (上卷汇总，下钻明细；切片，切块
阅读全文
摘要：数据倾斜： map /reduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个key的条数比其他key多很多（有时是百倍或者千倍之多），这条key所在的reduce节点所处理的数据量比其他节点就大很多，从而导致某几
阅读全文
摘要：转自：https://yq.aliyun.com/articles/652356?spm=a2c4g.11186623.2.16.70be302emNbIDl 用过MaxComputer的同学，都知道MaxComputer SQL只支持常用DDLDML语句，不支持存储过程的开发，但我们常常为解决业务
阅读全文
摘要：1）添加控件 2）数据字典选择自定义 3）对需要做动态列的添加条件属性 注：FIND 函数是当存在时返回地址，不存在时返回0，所以此处为当控件不存在时列宽为0，实现该列隐藏 4）实例展示
阅读全文
