游子吟

致力于.Net,致力于企业信息化工程!
Harvest = Hope + Struggle

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::

随笔分类 -  数据仓库

致力于数据分析、数据挖掘
摘要:经过一段时间的努力,SSIS学习系列基本上完成了,这是我对这方面知识的又一次梳理与深化,收获颇非,如果能对您有那么一点点帮助,那就更不虚此行了。 以后我将进入另一个系列--SSAS,希望能与各位志同道合的朋友一起讨论,一道前行。 阅读全文
posted @ 2010-02-20 16:06 巴山游子 阅读(1860) 评论(2) 推荐(3) 编辑

摘要:事务,是数据库应用中的最高统帅,各位数据库兄弟在它的领导下,精诚团结、和睦共处,同进退、共存亡。SSIS则更High,它还将盟军Oracle 、MySql、Sybase 也团结在自已身边,为发扬DB的伟大事业,冲锋陷阵,摧城拔寨。 阅读全文
posted @ 2010-02-05 08:58 巴山游子 阅读(2329) 评论(5) 推荐(3) 编辑

摘要:Integration Services 包在部署过程中,经常会出现这样那样的问题,让人摸不着头脑,很是烦人。今天我为大家济出一单灵丹妙药,不用开刀,不用住院,仅几片草匹、树根即可。 阅读全文
posted @ 2010-02-02 08:55 巴山游子 阅读(6649) 评论(5) 推荐(3) 编辑

摘要:Sql Server Integration Services 提供了非常简单的部署工具,利用这些工具可以方便地将包文件(*.dtsx)、包配置文件(*.dtsconfig)以及包的其它相关文件,打包成一个安装文件,以利于到其它计算机安装与部署 阅读全文
posted @ 2010-01-28 08:39 巴山游子 阅读(4572) 评论(5) 推荐(3) 编辑

摘要:Integrartion Services 包实际上就是一个对象属性的集合,在前面我们开发的所有 Integration Services包,其中的变量、属性,比如:数据库链接、同步文件目录等,我们都直接在包中用一个常量的方式,赋给这些变量或者属性,这就给这个包的发布与移置,带来很大的麻烦,比如我们在开发环境中开发包的时候,所有变量与属性都是按照开发环境来来进行设置,开发完成后,要将这个包部署到生产环境中,DB连接啊、同步目录啊等都会发生变化,以前的做法:在新环境中打开包,重新设置一遍这些变量或者属性的值,才可以正常运行。从自Integration Services 2005 以来,多了一个[包配置]功能,这个问题就迎刃而解了。配置文件可以帮助包进行无缝转移,而且可以使用配置过程自动化,从而减少了部署的麻烦,也降低了出错的风险。 阅读全文
posted @ 2010-01-14 08:46 巴山游子 阅读(3510) 评论(5) 推荐(2) 编辑

摘要:容器是Integration Services 包中非常重要的一部分功能,它可以对控制流中的任务进行直观的划分与组织,使包的结构简明扼要、易于管理、易于维护,就如同我们家里的书柜、衣柜似的,把不同种类的东西整理在里面,收藏起来,既美观,又易于取用。 阅读全文
posted @ 2010-01-05 08:57 巴山游子 阅读(2537) 评论(3) 推荐(6) 编辑

摘要:变量和表达式,在SSIS包中扮演了非常重要的角色,是SSIS包中的血液,是SSIS包中的水分,只要我们充分、灵活地运用,它一定不负众望,可以让你的包更有弹性,更加灵活,更加有生命力。 阅读全文
posted @ 2009-12-28 08:25 巴山游子 阅读(4032) 评论(7) 推荐(2) 编辑

摘要:数据流转换任务介绍:条件性拆分(Conditional Split);派生列(Derived Column);数据转换;查找(Lookup). 阅读全文
posted @ 2009-12-20 10:30 巴山游子 阅读(5207) 评论(9) 推荐(6) 编辑

摘要:数据流任务是SSIS中的一个核心任务,估计大多数ETL包中,都离不开数据流任务。所以我们也从数据流任务学起。  数据流任务包括三种不同类型的数据流组件:源、转换、目标。其中:  源:它是指一组数据存储体,包括关系数据库的表、视图;文件(平面文件、Excel 文件、Xml 文件等);系统内存中的数据集等。  转换:这是数据流任务的核心组件,如果说数据流任务是ETL的核心,那么数据流任务中的转换,则是... 阅读全文
posted @ 2009-12-16 08:48 巴山游子 阅读(5361) 评论(3) 推荐(4) 编辑

摘要: SSIS 并不简单的是DTS 的一个升级版,除了上面所说的几个方面的改进外,在开发环境方面,Microsoft 还一如继往地发挥着他的优势,与Visual Studio 紧密集成,让开发人员可以在一个更加熟悉,更加方便的平台上设计、开发,大大降低了入门的门槛,加速了学习、开发的进度。它的组成元素也更加对象化,每一个包、每一个任务、每个一控制流、每一个数据流,都是一个独立的对象,有其对应的属性、对应的事件。VB/C# 的脚本任务;变量、属性的参数化,更是让人震撼,几乎是无所不能,无所不可似的(有些夸张了,我不是托,只是感觉比以前强大太多了)。使用起来也并不复杂,只要你安装了SQL Server Integration Services 10.0 服务(SQL 2005 应该是Integration Services 9.0),New project ,选择Integration Services 项目,就可以一睹芳容,亲密感受他的博大与精深了。 阅读全文
posted @ 2009-12-03 09:37 巴山游子 阅读(5433) 评论(9) 推荐(6) 编辑

摘要:BI 就是在正确的时间,将正确的信息,以正确的方式,提交给各层领导,为公司的战略、战术、执行提供服务,以协助公司实现最后的美好愿景。虽然前途是光明的,但是道路是崎岖的,还有很多困难要面对,还有一些基本条件需要先满足。也只有如此,才能将BI最大限度地发挥效益,最大限度地产生价值。 阅读全文
posted @ 2009-11-26 09:39 巴山游子 阅读(2814) 评论(30) 推荐(5) 编辑

摘要:2009年7月,IBM 以12亿美元的价格,并购市场趋势分析与预测软件厂商SPSS。 2008年8月,Microsoft 发布 Sql Server 2008,再进一步加强了 SSAS 的功能。 2007年11月,IBM公司以50亿美元收购Cognos公司(商务智能和绩效计划软件)。 2007年10月,SAP公司以67.8亿美元收购Business Objects (前端展现工具); 2007年9月,Microsoft 发布PPS2007 RTM 版(PerformancePoint Server 2007 ),是Microsoft 集Monitoring、Planning、Analysis于一体的又一BI利器。 2007年3月,oracle公司以约33亿美元的现金价格收购Hyperion公司(企业绩效管理软件); 2006年3月,Microsoft 收购ProClarity,于2007年2月发布Mcsrosfot ProClarity 6.3,之后Proclarity 基本消失,现在已整合入PPS2007。 阅读全文
posted @ 2009-11-19 08:51 巴山游子 阅读(5429) 评论(30) 推荐(10) 编辑

摘要:在SSIS中,使用“包配置”时的常见错误有: 1、包配置成功,但包却不能运行。 2、SSIS同时有SQL Server 、Oracle 数据库连接时,包配置错误。 3、包在开发环境能正常运行,但在SQL Server 代理(job )任务中,却不能正常运行。 阅读全文
posted @ 2008-01-11 08:43 巴山游子 阅读(4613) 评论(4) 推荐(0) 编辑

摘要:了解 SQL Server 2005 Integration Services (SSIS) 的使用。SSIS 展示了一个真实的大量提取、转换和加载 (ETL) 过程。此 ETL 解决方案支持几个 TB 的数据仓库,包含大型仓库的典型数据处理、配置和管理机制。 阅读全文
posted @ 2008-01-10 08:42 巴山游子 阅读(1391) 评论(1) 推荐(0) 编辑

摘要:在海量数据表中,基本每个表都有一个或多个的索引来保证高效的查询,在ETL过程中的索引需要遵循以下使用原则: (1)索引的正确使用。 (2) 游标的正确使用。 (3)数据抽取和上载时的SQL优化。 阅读全文
posted @ 2008-01-10 08:14 巴山游子 阅读(1432) 评论(3) 推荐(0) 编辑