随笔分类 - odi
摘要:版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/xpliruizhi123/article/details/54580850 最近发现KETTLE抽数越来越慢,特别是增量INSERT/UPDATE的时候,速度已经达到了令人发指的地步(从一个400W数
阅读全文
摘要:性能调优在整个工程中是非常重要的,也是非常有必要的。但有的时候我们往往都不知道如何对性能进行调优。其实性能调优主要分两个方面:一方面是硬件调优,一方面是软件调优。本章主要是介绍Kettle的性能优化及效率提升。 一、Kettle调优 1、 调整JVM大小进行性能优化,修改Kettle定时任务中的Ki
阅读全文
摘要:作者:Grey 原文地址: http://www.cnblogs.com/greyzeng/p/5524614.html 需求: 将Oracle数据库中某张表历史数据导入MySQL的一张表里面。 源表(Oracle):table1 目标表(MySQL):table2 数据量:20,000,000 思
阅读全文
摘要:增量更新策略:通过一个“update key”比较流数据记录与目标表中的记录比较进行数据整合。具有相同“update key”的记录当相关联列不同时将被更新;在目标表中不存在的记录将被插入。这种方式用来操作记录的变化不需要记录的时候。 IKM使用面向SQL编程的方法而不是通过逐行记录比较的方法来比较
阅读全文
摘要:从我第一次正式的写sql语句到现在,已经超过10年的时间了。我写报表,做统计分析和财务对账,我一点点的接触oracle数据库,并尝试深入了解。这条路,一走就是10年,从充满热情,到开始厌倦,我不知道我还能坚持多久,未来的路,谁知道呢? 也许是该抓紧时间,做一点什么了,我不知道该开始写些什么,我从来没
阅读全文
摘要:一、前提知识:数据从源数据库向数据仓库抽取时,一般采用以下几种方式: 全抽取模式如果表的数据量较小,则可以采取全表抽取方式,以TRUNCATE/INSERT方式进行数据抽取。 基于时间戳的抽取模式如果源数据表是不可更新的数据(如大多数事务处理数据)或者是不可删除数据(只能失效历史记录的情况),则根据
阅读全文
摘要:ODI中的CDC是通过一组所谓的日志知识模块(Journal Knowledge Module,JKM)实现的,在项目中加在了这些模块后,就可以在接口设计时选择全量数据,还是变化数据。 ODI共提供了四种针对Oracle的JKM,分别是 ODI的每个接口中只能有一个日志表(Journal Table
阅读全文
摘要:简单介绍一下ODI的几个基本概念 简单介绍一下ODI的几个基本概念 简单介绍一下ODI的几个基本概念 简单介绍一下ODI的几个基本概念 ODI的几个基本概念是本文我们主要要介绍的内容,接下来我们就开始介绍这一过程,一起来看看吧! 什么是资料库 ODI资料库可安装在任何支持ANSIISO89的数据库中
阅读全文
摘要:ETL工具之ODI 到目前为止,Oracle的ETL工具包括两种,分别是Oracle Warehouse Builder(OWB)和Oracle Data Integrator(ODI)。前者是Oracle自己开发的工具,将在以后介绍。本章先介绍ODI,这个产品的前身是Sunopsis Active
阅读全文
摘要:Oracle ODI系列之一(ODI知识模块) Oracle ODI系列之一(ODI知识模块) Oracle ODI系列之一(ODI知识模块) Oracle ODI系列之一(ODI知识模块) ODI简介 ODI(Oracle Data Integrator)前身是Sunopsis Active In
阅读全文
摘要:ODI学习笔记2--ODI产品架构 ODI产品架构: ODI提供了以下几种管理工具:Designer 用于定义数据转换逻辑,这是最常用的开发工具,大部分的开发任务,包括data store的定义,interface(数据映射关系)和package(相当于workflow)的创建等,都是在Design
阅读全文