随笔分类 - SSIS
摘要：从下文的链接中找到一些背景，因为Excel会以前8行作为参考，如果某个字段前8行的最长长度没有超过255个字符，就会报错。如果知道某个字段属于描述性字段，而且字段的数据长度很可能超过255个字符长度，让第一行留出来，把第一行的那个字段加入超过255个字段长度的空格数据。 参考： http://ven
阅读全文
摘要：SQL Server 2016以后支持Azure AD集成验证，这当中有些数据驱动必须在高版本才可以使用，支持的包括sqlcmd，SSDT，JDBC,ODBC，SSMS等。 对于SSIS来讲，我们需要新建一个ADO.NET的数据连接，把Authentication改成ActiveDirectoryI
阅读全文
摘要：SQL Server Integration Services(SSIS) 在2012版本引入了Environment Variables这个新特性。它允许我们为一个环境创建出一套变量用于为项目内的包在执行时进行参数赋值，比如我们可以为PROD环境，SIT环境，UAT环境和DEV环境创建出不同的变量
阅读全文
摘要：Comming soon!!!参考文献：Setup and Performance Issues with the Integration Services (SSIS) 2012 CatalogFIX: Performance issues when you use SSISDB as your ...
阅读全文
摘要：Checkpoints是实现SSIS包重载的基础。它的原理是把当前运行环境的配置、变量以及到了包运行到哪一步和哪一步失败这些信息写入到一个文件中。而且有一点很重要，Checkpoint只发生在Control Flow级别。要实现包重载，配置上需要配置3个包级别的属性和1个任务属性：Checkpoin...
阅读全文
摘要：Event HandlerEach task and container raises events as it runs, such as an OnError event, among severalothers that are discussed shortly. SSIS enables ...
阅读全文
摘要：Requirements:Source and destination system impactProcessing time windows and performanceDestination system state consistencyHard and soft exception ha...
阅读全文
摘要：In the Control Flow, the task is the smallest unit of work, and a task requires completion (success, failure, or just completion) before subsequent ta...
阅读全文
摘要：Error outputs can obviously be used to improve reliability, but they also have an important part to play in terms of scalability as wellThe capability...
阅读全文
摘要：Sequence Container: 它的作用就是可以把一组任务绑定起来成为一个整体，这样Sequence本身就是具有了任务(task)的特性，比如TransactionOption。如果需要把一组任务作为一个整体来对待，就可以用Sequence Container
阅读全文
摘要：这里简单讲下SCD在讲之前贴上两个有用的链接地址。作者的两篇文件讲解了SCD是什么以及应用http://www.cnblogs.com/biwork/p/3363749.htmlhttp://www.cnblogs.com/biwork/p/3371338.htmlSlow Changing Dim...
阅读全文
摘要：CDC Control Task可以从控制CDC数据同步，比如初始化加载、LSN范围的管理。它可以代替另一种做法，就是通过调用一批CDC函数来完成同样的事情。从SSIS的角度来完成，事情编程简单，和另外两个空间配合起来（CDC Source,和CDC Splitter），仅需配置一些控件参数便可以完...
阅读全文
摘要：Data Quality Services(DQS)是SQL Server 2012引入的一大特性。这个服务的任务是为了实现客户端数据标准化和清理错误数据的。比如客户端数据容易因为用户输出诸如像城市名这样的数据，Los Angeles写成Los Angels，另一个就是标准化，像NYC、NewYor...
阅读全文
摘要：这两个任务的作用是数据清洗（Data Cleansing）。Fuzzy Lookup通过引用另外一张数据库表或者索引来进行相似值匹配。这种组件对于标准化和查找可能错误的客户端数据非常有用。例如像地址或者像城市名这种属性栏位非常有用。Fuzzy Lookup不仅会输出它的匹配值，同时还会输出simil...
阅读全文
摘要：Breakpoint是调试过程中最重要的手段，不仅对于Script Task和Script Component，对于任何其他的组件也是如此。可以在某个Event（如OnError）触发的时候设置断点来调试程序。很多其他的调试手段(工具)都是依赖于断点的。断点也是分包级别和组件级别的。Row Coun...
阅读全文
摘要：和Control Flow中的Script Task非常类似，不同的是Script Component是Per-Row的执行类型。打个比方，在Script Component中加入两个Output的字段，Script中针对每一行可以输出不同的值给这两个Output字段。Script Componen...
阅读全文
摘要：SSIS提供了Event Handler之外的另一种方法捕捉Event和获取需要的信息，这种方法是Logging。SSIS的Logging针对不同的组件可以提供比Event Handler更多的Event。在Event Handler中我们只有OnError、PreExecute等等这些，而在SSI...
阅读全文
摘要：Event Handler支持在某个事件触发的时候定义好处理该事件的逻辑，比如错误事件触发是该怎么处理。它跟Control Flow界面相似，就好像执行了另外一个包一样。Event Handler不仅支持包内的task对象，还支持对Event Hanlder事件中的task。EventHandler...
阅读全文
摘要：利用Script Task，我们可以做一些本身SSIS没能满足我们的，或者实现起来效果不够理想的。比如说我们想做一件这样的事情，去检查某个文件是否为空。如果我们通过Row Count组件来实现，性能上不理想，因为我又并不需要要知道究竟文件包含多少行数据。我们只需要简单地知道文件是否包含数据。我们可以...
阅读全文
