摘要: 根据ODS系统解决的不同的数据问题,将ODS模型将数据按三层进行管理:分别针对细节级数据、汇总型数据和分析型数据,每个区域有自己的管理重点。下面分别介绍。基础数据层(FDM:FOUNDATION DATA MODLE)。来源于标准化的各源系统提供的业务基础数据。基础数据层的... 阅读全文
posted @ 2012-05-09 16:06 maventalker 阅读(528) 评论(0) 推荐(0) 编辑
摘要: 为提高任务执行效率,同时也保证任务执行时的无相关性,(串行操作往往依赖上个任务的执行结果)并行操作势在必行。 见图中设置,step即变为绿色虚线条,各个transaction之间不存在依赖性。手机扫一扫,欢迎关注公众号关注程序员成长 阅读全文
posted @ 2012-05-09 15:52 maventalker 阅读(789) 评论(0) 推荐(0) 编辑
摘要: kettle未能正常执行任务时,同样需要记录下来执行操作,以便分析任务异常。 红色线条代表任务异常时执行的任务,绿色为正常执行的任务序列。 任务执行时都有日志记录,但kettle日志表中字段存在执行时间,但不存在业务日期字段。比如今天的任务执行的是T日期的数据,日志中就无法反... 阅读全文
posted @ 2012-05-09 15:47 maventalker 阅读(1267) 评论(0) 推荐(0) 编辑
摘要: 附件中列出操作步骤。 由于xls表格中存在一列是列表项,状态:status,值分有效与失效 但库中状态值存为1或0,由此需将此值映射,参见图中最后一张。手机扫一扫,欢迎关注公众号关注程序员成长 阅读全文
posted @ 2012-05-09 15:40 maventalker 阅读(140) 评论(0) 推荐(0) 编辑