informatica 学习总结
问:什么是BI?
答:BI是商务智能,它包含的应用系统和技术较宽泛,通过收集,存储,分析和提供对数据的访问,来帮助企业用户做出更好的商务决策。
BI应用包括决策支持,查询和报表,联机分析处理OLAP,统计分析,预测和数据挖掘等活动,
问:什么是ETL?(Extraction-Transformation-Loading)
答:是将业务系统的数据抽取,转换和装载的过程。
问:什么是DW?(Date Warehousing)
答:数据仓库是面向主题的,集成的,稳定的,随时间变化的,主要用于决策支持的数据库系统。
问:什么是DM?(Date Mart)
答:是根据部门的需求,可以有不同的数据集市。数据集市保存的是已经汇聚的数据。
问:什么是数据仓库
答:是决策支持系统(dss)和联机分析应用数据源的结构化数据环境
问:ETL的整个过程是什么?
答:抽取、迁移和加载(ETL)过程是将数据从源系统向数据仓库转移。具体的说,ETL 过程
主要完成以下工作:
¾ 存储源系统的结构和内容信息。
¾ 存储数据仓库的结构和内容信息。
¾ 把业务操作系统的结构与内容信息和数据仓库的相关信息进行关联
¾ 提供信息给数据抽取工具,将数据从源系统转移到数据仓库之中。
第一个步骤是从源系统提取,或者抓数据。
第二个步骤是转换数据并准备把它加载到数据仓库。转换处理包括转换数据类型和名称,清除有误数据,纠正拼写错误,填充到不完整的数据,等等。
第三个步骤,也是最后一步就是加载数据到数据仓库中
①表达式组件(Expression)
作用:里面有很多函数,可以设置参数,用于计算值。
②筛选组件(filter)
作用:根据条件过滤不符合条件的行(过滤条件就是返回真或假的表达式,真就进入下一个组件,假就过滤)
③汇总器转换组件(aggregator)
作用:汇总计算(求平均值avg,求和sum,最大值max,最小值min,统计count)
④查找转换组件(lookup)是常用的组件
作用:获取一个想关联的值,查找值,(可查找另一张表相同的值,返回指定的值)
点开查找组件会出现下面框框,这是找要关联的表(可比较)
⑤路由器转换组件(router)
作用:根据组条件将数据发送至多个转换。(可以分成多个表)
⑥存储过程转换(expression)
作用:调用数据库中的存储过程(需要先填用户,再调用)
⑦排序转换组件(Sorter)
作用:根据排序键对数据进行排序。
⑧等级转换组件(rank)
作用:将记录限制在顶部或底部范围。(就是截取的功能)