随笔分类 - Informatica
摘要:在这篇文章中我们将学习了解数据仓库的ETL过程以及实用的ETL工具。 一、什么是ETL? 构建数据仓库的核心是建模,在数据仓库的构建中,ETL贯穿于项目始终,它是整个数据仓库的生命线。从数据源中抽取数据,然后对这些数据进行转化,最终加载到目标数据库或者数据仓库中去,这也就是我们通常所说的 ETL 过
阅读全文
摘要:1. INFORMATICA CLIENT的使用1.1 Repository Manager 的使用1.1.1 创建Repository。前提: a. 在ODBC数据源管理器中新建一个数据源连接至你要创建Repository的数据库(例:jzjxdev)b. 要在你要连接的数据库中新建一个用户(例:
阅读全文
摘要:阅读目录 一、准备 1、安装介质的获取 2、数据库端准备 (1)创建存放info相关信息的表空间 (2)创建域用户并分配权限,用来管理域 (3)创建资源库用户并赋权 (4)创建数据分析用户并赋权 (5)创建元数据用户并赋权 二、服务器端安装 三、客户端安装 三、组件介绍 阅读目录 一、准备 1、安装
阅读全文
摘要:Informatica 结构 PowerCenter数据整合引擎是基于元数据驱动的,提供了基于数据驱动的元数据知识库(Repository),该元数据知识库可以在主流的关系型数据库中部署。该院数据库中存储所有的ETL元数据,包括:源、目标表的物理和逻辑元数据,ETL转换规则,知识库用户权限,ETL任
阅读全文
摘要:目 录 Informatica开发规范.... 1 目 录.... 2 1 编写目的.... 4 2 ETL研发责任人界定.... 4 3 ETL 研发数据库操作约束条件.... 4 4 定义.... 4 5 范围.... 5 6 系统通用属性.... 6 7 命名规则.... 6 7.1 通用规则
阅读全文
摘要:RouterRouter和Filter很相似,Router可以用一或多个Filter来取代,不同的是用Router来生成多个组时输入数据只需处理一次,所以效率更高;Router 由一个输入组,一到多个用户定义的输出组和一个默认组组成,每一个用户定义的输出组含一个测试条件,满足条件的输入数据会进入相应
阅读全文
摘要:1 What is the difference between a data warehouse and a data mart? Ø Dataware house: It is a collection of data marts. Represents historical data. a d
阅读全文
摘要:阅读目录 1、创建存储库服务 2、创建集成服务 3、错误日志的查看 4、客户端连接 阅读目录 1、创建存储库服务 2、创建集成服务 3、错误日志的查看 4、客户端连接 继续上一篇的1、安装介质的获取与安装,本文介绍服务端的存储库服务和集成服务的配置。 安装好Informatica的客户端和服务端后,
阅读全文
摘要:[root@infa ~]# su - infa [infa@infa ~]$ cd $INFA_HOME 关闭 [infa@infa 9.0.1]$ $INFA_HOME/server/tomcat/bin/infaservice.sh shutdown Stopping Informatica
阅读全文
摘要:1. INFORMATICA CLIENT的使用 1.1 Repository Manager 的使用 1.1.1 创建Repository。 前提: a. 在ODBC数据源管理器中新建一个数据源连接至你要创建Repository的数据库(例:jzjxdev) b. 要在你要连接的数据库中新建一个用
阅读全文
摘要:由于公司机房的变动,infa所连数据库的IP地址变化,致使INFA不能启动.经过查找资料终于解决,现分享给大家,解决方法如下: 1.查看日志路径: Informatica/9.1.0/tomcat/logs/catalina.out 查看原因是因为Domain数据库连接不上. 2.由于infa8和9
阅读全文
摘要:1. INFORMATICA CLIENT的使用 1.1 Repository Manager 的使用 1.1.1 创建Repository。 前提: a.在ODBC数据源管理器中新建一个数据源连接至你要创建Repository的数据库(例:jzjxdev) b. 要在你要连接的数据库中新建一个用户
阅读全文
摘要:LOOKUP TRANSFORMATION的使用点评: LOOKUP基本用法不熟的话请参考下附属信息。 用法感受: 1 LOOKUP的作用跟我们以前在EXCEL的函数功能类似,就是隔表取值。优点就是用ETL工具可以设置CACHE,大量的 数据也可以实现这个功能。数据量大的话要设置CACHE ENAB
阅读全文
摘要:INFORMATICA SERVER的调优我认为主要从两个级别来做,一个是MAPPING级别,一个是SESSION级别。 对于MAPPING级别的调优: 一 对MAPPING数据流向的优化: 1 控制源头过来的数据内容,根据设计需求,不需要过来的数据尽量不加载。当然这个主要在SOURCE QUALI
阅读全文
摘要:当一套BI 解决方案成熟运行后,公司会快速扩大客户群,这时快速的将开发出来的SOLUTION 应用到全新的生产环境中就很重要了,下面谈谈我做这样项目(INFORMATICA BACKUP&RESTORE)的一点经历。 大概步骤如下: 1连接到需要实施的生产环境INFA SERVER上,检查对应环境信
阅读全文
摘要:5W1H法来实现源数据的优化 做数据仓库项目的朋友都能感到数据质量和数据抽取展现的性能是整个数据仓库项目的重点。下面谈谈我在DW项目中处理源数据质量问题的5W1H方法。 5W : WHO ,WHAT,WHY,WHEN,WHERE WHO:(谁来对源数据负责) ETL抽取的数据各种各样,有些是按业务,
阅读全文
摘要:软件开发的一般都有三个环境,开发环境,用户接受度测试环境,生产环境。我最近实施了从开发环境到生产环境的部署工作,在此跟大家分享一下。 大概步骤如下: 1 备份生产环境INFORMATICA 知识库 登录CONSOLE备份当前的知识库。 2 在开发环境的INFORMATICA REPOSITORY M
阅读全文
摘要:LOOKUP TRANSFORMATION的使用点评: LOOKUP基本用法不熟的话请参考下附属信息。 用法感受: 1 LOOKUP的作用跟我们以前在EXCEL的函数功能类似,就是隔表取值。优点就是用ETL工具可以设置CACHE,大量的 数据也可以实现这个功能。数据量大的话要设置CACHE ENAB
阅读全文
摘要:数据分析系统的总体架构分为四个部分 —— 源系统、数据仓库、多维数据库、客户端(图一:pic1.bmp) 其中,数据仓库(DW)起到了数据大集中的作用。通过数据抽取,把数据从源系统源源不断地抽取出来,可能每天一次,或者每3个小时一次(当然是自动的)。这个过程,我们称之为ETL过程。 那么,今天,我们
阅读全文
摘要:1、informatica中domain与node的理解: domain 类似于局域网,node就是局域网中的节点或者计算机。 node应与repository在数据库中存储在不同的scheme中,此处node指informatica操作的内容。 2、informatica中Repository S
阅读全文