代码改变世界

随笔分类 -  01 - SSIS

微软BI 之SSIS 系列 - 通过 ROW_NUMBER 或 Script Component 为数据流输出添加行号的方法

2013-12-27 16:21 by BIWORK, 2525 阅读, 收藏, 编辑
摘要: 开篇介绍上午在天善回答看到这个问题-SSIS 导出数据文件,能否在第一列增加一个行号,很快就帮助解决了,方法就是在SQL查询的时候加一个ROW_NUMBER()就可以了。后来想起在两年前我的第一个BI项目上也有类似的文件输出需求,但是比这个要复杂的多,因为涉及到多个输入列的逻辑判断和计算问题,比如还... 阅读全文

微软BI 之SSIS 系列 - 在 SSIS 输出平面文件时根据运行日期生成不同的文件名称

2013-12-25 00:00 by BIWORK, 5021 阅读, 收藏, 编辑
摘要: 开篇介绍在SSIS中操作文件的输入和输出是非常方便的,这个例子讲解一个最简单的需求:比如每天从数据库中查询一批数据要输出到文件,每天产生一个文件,那么文件的名称按照"文件名+日期"的格式加以区别,比如 Employee20131225.txt 。测试案例我的测试数据非常简单,就是一个查询语句,要将这... 阅读全文

微软BI 之SSIS 系列 - 通过 OLE DB 连接访问 Excel 2013 以及对不同 Sheet 页的数据处理

2013-12-17 16:31 by BIWORK, 17057 阅读, 收藏, 编辑
摘要: 文章更新历史2014年9月7日 - 加入了部分更新内容,在文章最后提到了关于不同 Office Excel 版本间的连接问题。开篇介绍这篇文章主要总结在 SSIS 中访问和处理 Excel 数据的四个方面的主题内容 (都是处理以 .xlsx 结尾的 Excel 文件)-如何在 SSIS 中集成对 M... 阅读全文

微软BI 之SSIS 系列 - 变量查询语句引起列输出顺序不一致的解决方法

2013-12-04 12:47 by BIWORK, 2265 阅读, 收藏, 编辑
摘要: 开篇介绍这个问题来自于 天善BI社区,看了一下比较有意思,因为我自己认为在SSIS中处理各种类型文件的经验还比较丰富(有一年的时间几乎所有ETL都跟文件相关),但是这个问题确实之前没有特别考虑过。研究了一下,找到了解决的方法,赶紧记录下来。简单描述一下这个问题,如果我们的 SOURCE 是直接从表里... 阅读全文

微软BI 之SSIS 系列 - 两种将 SQL Server 数据库数据输出成 XML 文件的方法

2013-11-19 13:07 by BIWORK, 5562 阅读, 收藏, 编辑
摘要: 开篇介绍在 SSIS 中并没有直接提供从数据源到 XML 的转换输出,Destination 的输出对象有 Excel File, Flat File, Database 等,但是并没有直接提供 XML 文件输出的配置。但是我们仍然可以通过下面这些方法来实现:方法一:在数据流中使用平面文件对字符串 ... 阅读全文

微软BI 之SSIS 系列 - 数据仓库中实现 Slowly Changing Dimension 缓慢渐变维度的三种方式

2013-10-16 00:09 by BIWORK, 11959 阅读, 收藏, 编辑
摘要: 开篇介绍关于 Slowly Changing Dimension 缓慢渐变维度的理论概念请参看数据仓库系列 - 缓慢渐变维度 (Slowly Changing Dimension) 常见的三种类型及原型设计本篇文章总结了实现缓慢渐变维度的几种方式,并且分析了 Changing Attribute 和... 阅读全文

微软BI 之SSIS 系列 - 通过设置 CheckPoints 检查点来增强 SSIS Package 流程的重用性

2013-10-13 15:57 by BIWORK, 4274 阅读, 收藏, 编辑
摘要: 开篇介绍通常一个 ETL Package 是由多个控制流和数据流共同组成,有的时候 ETL 的步骤可能会比较多,整个流程执行下来的时间可能比较长。假设在 ETL Package 中包含5个Task,前3个Task执行超过1个小时,到了第4个Task的时候发生失败。如果下次执行的时候重新从第1个任务开... 阅读全文

微软BI 之SSIS 系列 - 理解Data Flow Task 中的同步与异步, 阻塞,半阻塞和全阻塞以及Buffer 缓存概念

2013-09-20 00:49 by BIWORK, 3797 阅读, 收藏, 编辑
摘要: 开篇介绍在 SSIS Dataflow 数据流中的组件可以分为 Synchronous 同步和 Asynchronous 异步这两种类型。同步与异步 Synchronous and AsynchronousSynchronous 同步组件同步组件有一个非常重要的特征 - 同步组件的输出和它的输入共享... 阅读全文

BI 系列随笔列表 (SSIS, SSRS, SSAS, MDX, SQL Server)

2013-09-18 18:25 by BIWORK, 38460 阅读, 收藏, 编辑

微软 BI ETL 架构设计

  1. 如何在 ETL 项目中统一管理上百个 SSIS 包的日志和包配置框架
  2. 如何管理和记录 SSIS 各个 Task 的开始执行时间和结束时间以及 Task 中添加|删除|修改的记录数

 

微软 BI SSIS 系列

  1. 微软BI 之SSIS 系列 - 在 SSIS 中读取 SharePoint List
  2. 微软BI 之SSIS 系列 - 利用 SSIS 模板快速开发 SSIS Package
  3. 微软BI 之SSIS 系列 - Lookup 组件的使用与它的几种缓存模式 - Full Cache, Partial Cache, NO Cache
  4. 微软BI 之SSIS 系列 - Merge, Merge Join, Union All 合并组件的使用以及Sort 排序组件同步异步的问题
  5. 微软BI 之SSIS 系列 - 在 SSIS 中使用 Web Service 以及 XML 解析
  6. 微软BI 之SSIS 系列 - 使用 Multicast Task 将数据同时写入多个目标表,以及写入Audit 与增量处理信息
  7. 微软BI 之SSIS 系列 - 理解Data Flow Task 中的同步与异步, 阻塞,半阻塞和全阻塞以及Buffer 缓存概念
  8. 微软BI 之SSIS 系列 - 通过设置 CheckPoints 检查点来增强 SSIS Package 流程的重用性
  9. 微软BI 之SSIS 系列 - 数据仓库中实现 Slowly Changing Dimension 缓慢渐变维度的三种方式
  10. 微软BI 之SSIS 系列 - 两种将 SQL Server 数据库数据输出成 XML 文件的方法
  11. 微软BI 之SSIS 系列 - 变量查询语句引起列输出顺序不一致的解决方法
  12. 微软BI 之SSIS 系列 - 通过 OLE DB 连接访问 Excel 2013 以及对不同 Sheet 页的数据处理
  13. 微软BI 之SSIS 系列 - 在 SSIS 输出平面文件时根据运行日期生成不同的文件名称
  14. 微软BI 之SSIS 系列 - 通过 ROW_NUMBER 或 Script Component 为数据流输出添加行号的方法
  15. 微软BI 之SSIS 系列 - 在 SSIS 中将指定目录下的所有文件分类输出到不同文件夹
  16. 微软BI 之SSIS 系列 - 导出数据到 Excel 2013 的实现
  17. 微软BI 之SSIS 系列 - 平面文件格式的区别(Delimited,Fixed width,Ragged Right, Fixed width ...)
  18. 微软BI 之SSIS 系列 - Lookup 中的字符串比较大小写处理 Case Sensitive or Insensitive
  19. 微软BI 之SSIS 系列 - 对于平面文件中 NULL 值处理过程中容易极易混淆的几个细节
  20. 微软BI 之SSIS 系列 - 带有 Header 和 Trailer 的不规则的平面文件输出处理技巧
  21. 微软BI 之SSIS 系列 - Execute SQL Task 中的 Single Row 与 Full Result Set 的处理技巧
  22. 微软BI 之SSIS 系列 - XML Task 中XSLT 样式表转换错误记录
  23. 微软BI 之SSIS 系列 - 使用 Script Task 访问非 Windows 验证下的 SMTP 服务器发送邮件
  24. 微软BI 之SSIS 系列 - MVP 们也不解的 Scrip Task 脚本任务中的一个 Bug
  25. 微软BI 之SSIS 系列 - Precedence Constraint 详解优先约束的使用
  26. 微软BI 之SSIS 系列 - 使用 Script Component Destination 和 ADO.NET 解析不规则文件并插入数据
  27. 微软BI 之SSIS 系列 - 在 SSIS 中导入 ACCESS 数据库中的数据
  28. 微软BI 之SSIS 系列 - 在 SQL 和 SSIS 中实现行转列的 PIVOT 透视操作
  29. 微软BI 之SSIS 系列 - 2008 版本中变量 Int64 无法保存 bigint 类型数据的BUG
  30. 微软BI 之SSIS 系列 - ETL 转换时关于 Code Page (1252 and 936) 转换错误的原因和解决方法
  31. 微软BI 之SSIS 系列 - 再谈Lookup 缓存
  32. 微软BI 之SSIS 系列 - 使用 SQL Profilling Task (数据探测) 检测数据源数据

 

微软 BI 其它文章

  1. 容易遗忘的一些小代码之 Merge Operation and Output Clause
  2. 容易遗忘的一些小代码之 PIVOT 和 UNPIVOT
  3. SSIS 小脚本 - 文件路径验证
  4. SSIS 小脚本 - 时间参数验证
  5. 在 Visual Studio 2012 开发 SSIS,SSAS,SSRS BI 项目

 

分享与下载

  1. 微软产品下载大全(操作系统,SQL SERVER,Office)http://www.itellyou.cn/
  2. 微软示例数据库下载  Microsoft Demo Database Download
  3. 微软 DEMO  下载     Microsoft Demo Download
  4. SQL SERVER 2012 下载(英文版)百度云共享   链接:http://pan.baidu.com/s/1jGf23kE    密码:uu8w 
  5. SQL SERVER 2014 下载(英文版)百度云共享   链接:http://pan.baidu.com/s/1c0zr8mW  密码:9h6g
  6. 900 余页19万余字的 《2015年BI系列技术博文与问答精选年刊》 PDF版本,本博客均收录在其中,具体可以访问 http://www.flybi.net/article/336 

IT 杂记

(2013年-2014年)

  1. IT 外包中的甲方乙方,德国人,美国人,印度人和日本人印象杂谈
  2. 有感于三个50岁的美国程序员的生活状态与IT职业杂想 

BIWORK 企业级应用 BI 框架系列

(2013年-2014年)

  1. 如何在 ETL 项目中统一管理上百个 SSIS 包的日志和包配置框架 
  2. 如何管理和记录 SSIS 各个 Task 的开始执行时间和结束时间以及 Task 中添加|删除|修改的记录数

 移动 BI Datazen

 ( 2015年 )

  1. Microsoft 家族新成员 Datazen 移动BI 介绍 

 数据仓库系列

(2013年-2014年)

  1. 数据仓库系列 - 缓慢渐变维度 (Slowly Changing Dimension) 常见的三种类型及原型设计
  2. 一般数据库增量数据处理和数据仓库增量数据处理的几种策略

(2015年)

  1. 数据仓库设计小知识之一个属性的维度设计

改变传统思维的报表设计与制作 WIN8 Metro UI SSRS

(2013年-2014年)

  1. WIN8 Metro UI 风格下的微软报表开发与设计 Metro UI SSRS - BIWORK

SSIS 系列 - 常用操作

(2013年-2014年)

  1. 利用 SSIS 模板快速开发 SSIS Package
  2. 在 SSIS 中读取 SharePoint List
  3. 在 SSIS 中使用 Web Service 以及 XML 解析
  4. 变量查询语句引起列输出顺序不一致的解决方法
  5. 通过设置 CheckPoints 检查点来增强 SSIS Package 流程的重用性
  6. 通过 ROW_NUMBER 或 Script Component 为数据流输出添加行号的方法
  7. 使用 Multicast Task 将数据同时写入多个目标表,以及写入Audit 与增量处理信息
  8. Execute SQL Task 中的 Single Row 与 Full Result Set 的处理技巧
  9. 使用 Script Task 访问非 Windows 验证下的 SMTP 服务器发送邮件
  10. MVP 们也不解的 Scrip Task 脚本任务中的一个 Bug

(2015)

  1. 在 SQL 和 SSIS 中实现行转列的 PIVOT 透视操作
  2. 2008 版本中变量 Int64 无法保存 bigint 类型数据的BUG
  3. ETL 转换时关于 Code Page (1252 and 936) 转换错误的原因和解决方法
  4. 再谈Lookup 缓存
  5. 使用 SQL Profilling Task (数据探测) 检测数据源数据

SSIS 系列 - 文件处理

(2013年-2014年)

  1. 通过 OLE DB 连接访问 Excel 2013 以及对不同 Sheet 页的数据处理
  2. 导出数据到 Excel 2013 的实现
  3. 平面文件格式的区别(Delimited,Fixed width,Ragged Right, Fixed width ...)
  4. 在 SSIS 输出平面文件时根据运行日期生成不同的文件名称
  5. 在 SSIS 中将指定目录下的所有文件分类输出到不同文件夹
  6. 两种将 SQL Server 数据库数据输出成 XML 文件的方法
  7. 对于平面文件中 NULL 值处理过程中容易极易混淆的几个细节
  8. 带有 Header 和 Trailer 的不规则的平面文件输出处理技巧
  9. XML Task 中XSLT 样式表转换错误记录

SSIS 系列 - 高级组件概念分析

(2013年-2014年)

  1. 数据仓库中实现 Slowly Changing Dimension 缓慢渐变维度的三种方式
  2. Lookup 组件的使用与它的几种缓存模式 - Full Cache, Partial Cache, NO Cache
  3. Merge, Merge Join, Union All 合并组件的使用以及Sort 排序组件同步异步的问题
  4. 理解Data Flow Task 中的同步与异步, 阻塞,半阻塞和全阻塞以及Buffer 缓存概念
  5. Lookup 中的字符串比较大小写处理 Case Sensitive or Insensitive
  6. 使用 Script Component Destination 和 ADO.NET 解析不规则文件并插入数据

SSRS 系列

(2013年-2014年)

  1. 报表中分组聚合中处理不规则层次结构的技巧(没有子元素的时候不展开, 删除+符号)
  2. 报表邮件订阅中 SMTP 服务器匿名访问与 Windows验证, 以及如何成功订阅报表的实例
  3. 使用分组 Group 属性实现基于父子递归关系的汇总报表
  4. 如何实现报表导航 Navigation 和钻取 Drill Down 的效果
  5. 如何实现报表标签的本地化 - 中文和英文的互换
  6. 使用 LookupSet 和 Adjacent Group 等高级技巧在报表中跨 Dataset 分组查询
  7. 不显示 Pie Chart 饼图上 0% 的数据
  8. 使用文档结构导航报表元素 Document Map
  9. 如何让报表在一页显示,两种常用的技巧
  10. 解决Pie Chart 中控制标签外部显示与标签重叠的问题
  11. 实现 Excel 中图表结合的报表设计

(2015)

  1. 如何设置页标题重复
  2. 巧用 RunningValue 函数在分组中排序并设置 RANK 排名

SSRS + MDX 系列

(2013年-2014年)

  1. 使用带参数的 MDX 查询实现一个分组聚合功能的报表
  2. 基于时间段参数的 MDX 查询以及时间日历 Date Picker 的时间类型参数化
  3. 在 Cube 中通过 MDX 查询实现基于父子递归关系的汇总报表
  4. 如何在 MDX 查询中获取有效的 MEMBER 成员属性作为参数传递

SSAS Multidimensional 系列

(2013年-2014年)

  1. 在 SQL Server 2012 下查看 SSAS 分析服务的模型以及几个模型的简单介绍
  2. 在SQL Server 2012 中开发 Analysis Services Multidimensional Project
  3. 自定义的日期维度设计
  4. 基于雪花模型的维度设计
  5. 关于父子维度的设计
  6. 实现Cube 以及角色扮演维度,度量值格式化和计算成员的创建
  7. 多维数据集中度量值设计时的聚合函数 (累加性_半累加性和非累加性)
  8. 多维数据集维度用法之一 引用维度 Referenced Dimension
  9. 多维数据集维度用法之二 事实维度(退化维度 Degenerate Dimension)
  10. 多维数据集维度用法之三 多对多维度 Many to Many
  11. 维度的优化,灌木丛属性关系,以及自然层次结构与非自然层次结构的概念
  12. SQL Server 2012 中 SSAS 多维数据浏览器已经废除

SSAS Tabular 系列

(2013年-2014年)

  1. 使用 SQL Server 2012 Analysis Services Tabular Mode 表格建模 图文教程

MDX Step by Step 笔记系列

(2013年-2014年)

  1. (三) - Understanding Tuples (理解元组)
  2. (四) - Working with Sets (使用集合)
  3. (四) - Working with Sets (使用集合) - Limiting Set and Auto-Exists
  4. (四) - Working with Sets (使用集合) - 我对Exists 函数的理解
  5. (五) - Working with Expressions (MDX 表达式)
  6. (五) - Working with Expressions (MDX 表达式) - CurrentMember - Properties - Existing 的使用
  7. (五) - Working with Expressions (MDX 表达式) - Infinite Recursion 和 SOLVE_ORDER 原理解析
  8. (六) - Building Complex Sets (复杂集合的处理) - 集合的排序
  9. (六) - Building Complex Sets (复杂集合的处理) - TopCount - BottomCount -Head-Tail-Item 函数的使用
  10. (六) - Building Complex Sets (复杂集合的处理) -  Filtering Sets
  11. (六) - Building Complex Sets (复杂集合的处理) - Combining Sets
  12. (六) - Building Complex Sets (复杂集合的处理) - Generate 和 Extract 函数的使用 
  13. (七) - Performing Aggregation 聚合函数之 Sum, Aggregate, Avg
  14. (七) - Performing Aggregation 聚合函数之 Max, Min, Count , DistinctCount 以及其它 TopCount, Generate
  15. (八) - Navigating Hierarchies 层次结构导航
  16. (九) - Working with Time 处理时间
  17. MDX 查询原型

SQL Server 数据库系列

(2013年-2014年)

  1. 配置 SQL Server Email 发送以及 Job 的 Notification通知功能
  2. SQL Server Window Function 窗体函数读书笔记一 - SQL Windowing
  3. SQL Server Window Function 窗体函数读书笔记二 - A Detailed Look at Window Functions
  4. BIWORK 分区表阅读与实践笔记
  5. BIWORK 分区表滑动窗口阅读与实践笔记
  6. OBJECT_ID 有哪些种类
  7. Execution Plan 执行计划介绍
  8. SQL Server 中断开连接到指定数据库的所有连接
  9. SQL Server 中的事务与事务隔离级别以及如何理解脏读, 未提交读,不可重复读和幻读产生的过程和原因
  10. SQL Server - 使用 Merge 语句实现表数据之间的对比同步
  11. SQL Server - 把星期一(周一)当作每个星期的开始在一年中求取周数
  12. 数据库引擎 - 表和索引数据结构体系结构
  13. 数据库引擎 - 文件和文件组体系结构
  14. 数据库引擎 - 页和体系结构,页和区
  15. 索引 - 索引基础知识
  16. 索引 - 索引设计基础知识
  17. 索引 - 唯一索引设计指南
  18. 索引 - 非聚集索引设计指南
  19. 索引 - 聚集索引设计指南
  20. 索引 - 查询类型和索引
  21. 索引 - 索引排序顺序
  22. 索引 - 索引键的最大大小
  23. 索引 - 常规索引设计指南
  24. 索引 - 在文件组上放置索引
  25. 容易遗忘的一些小代码之 ROW_NUMBER 和去重
  26. 容易遗忘的一些小代码之 PIVOT 和 UNPIVOT
  27. 容易遗忘的一些小代码之 Merge Operation and Output Clause
  28. 容易遗忘的一些小代码之 Cross apply and Outer apply
  29. SQL SERVER 2012 中 SSAS 多维数据浏览器已经废除

(2015)

  1. SQL SERVER 2014 安装图解(含 SQL SERVER 2014 安装程序共享)

MDX Cookbook 札记列表 

(2013年-2014年)

  1. MDX Cookbook 01 - Skipping Axis 合理使用空的 SET 集合获取全部层次结构成员
  2. MDX Cookbook 02 - 除数为零的问题
  3. MDX Cookbook 03 - MDX 查询中负数,零和空值 NULL 的格式化处理
  4. MDX Cookbook 04 - 在集合中实现 NOT IN 逻辑 (Minus, Except, Filter 等符号和函数的使用)
  5. MDX Cookbook 05 - 条件过滤 FILTER-COUNT 与 SUM-IIF 实现
  6. MDX Cookbook 06 - GENERATE 循环遍历
  7. MDX Cookbook 07 - 在不同层次结构的成员中实现 逻辑 OR 的效果
  8. MDX Cookbook 08 - 基于集合上的迭代递归
  9. MDX Cookbook 09 - 同一个层级结构中的成员 AND 逻辑操作
  10. MDX Cookbook 10 - 计算 Year To Date 的 Running Total(YTD 与 PeriodsToDate 的区别)
  11. MDX Cookbook 11 - 计算 Year Over Year 增长 (同比计算) ParallelPeriod
  12. MDX Cookbook 12 - 计算 SMA 简单移动平均 LastPeriods() 函数的使用

提交给微软的 Bug 与产品改进记录 FEEDBACK SURVEYS

(2013年-2014年)

  1. 001 Feddback SSIS 2012 ReadOnlyVariables in Script Task doesn't work 
  2. 001 Post Is it a bug - SSIS 2012 ReadOnlyVariables in Script Task doesn't work

以下整理收藏自其它博客与文章,好文收藏

SQL Server 系列

  1. SQL函数说明大全 - (作者 - moss_tan_jun)
  2. 恢复SQLSERVER被误删除的数据 - (作者 - 桦仔)
  3. 解剖SQLSERVER 第一篇  数据库恢复软件商的黑幕 - (作者 - 桦仔)
  4. 存储过程变慢的原因
  5. SQL Server Performance

SSRS 系列

  1. 深入 SSRS 地图
  2. 有关 SSRS 报表的缓存
  3. Service Account 的介绍
  4. Service Account 的选择问题
  5. 关于 Execution Account 的介绍
  6. 本地 Report Server 权限的配置
  7. 有关角色权限的问题

SSIS 系列

  1. We Loaded 1TB in 30 Minutes with SSIS, and So Can You 
  2. What are the differences between Merge Join and Lookup transformations in SSIS?

SSAS 系列

  1. SSAS - Attribute Relationships
  2. Hierarchies in SSAS Multidimensional: What’s really happening up (or down) in there?
  3. SSAS - Defining Attribute Relationships in 2005 and 2008
  4. Processing Options and Settings 
  5. What happens when you do a Process Update on a dimension?
  6. What are the natural hierarchies and why they are a good thing 
  7. Different Kinds of SSAS Processing in simple words

微软技术圈

BI 技术

  1. Tomislav Piasevoli (MVP MDX Cookbook 作者)   
  2. Jason Tom Thomas (MDX,SSAS)   
  3. Charlie Liao (SSAS,MDX Moderator)    
  4. Elvis Long  (MDX,SSAS Moderator)
  5. 哥本哈士奇 (MVP, BI, 数据挖掘)
  6. ArthurZ (MVP,MCDBA, MCAD, MCTS and MCITP)
  7. Reza Raad (MVP, MCP, MCTS and MCI《Microsoft SQL Server 2012 Integration Services: An Expert Cookbook》作者)
  8. SSISJoost (MVP, SSIS)
  9. Visakh16 (MVP, SSIS,SSAS,SSRS)
  10. Bobby0322 (数据挖掘博客分享)

SQL Server 技术

  1. Carey Son (MVP) 
  2. 听风吹雨 (MVP) 
  3. 邀月工作室 (MVP,PMP)  
  4. 桦仔 (MVP)

其它收藏

英语学习

  1. 暴力英语学习法 + 严格的目标管理 = 成功快速靠谱的学好英语

创业

  1. 1号店创始人于刚:我用实践换来的十条创业箴言

如果觉得这个系列的文章看了对您有帮助,请点击下方帮助推荐。

微软BI 之SSIS 系列 - 使用 Multicast Task 将数据同时写入多个目标表,以及写入Audit 与增量处理信息

2013-09-18 17:46 by BIWORK, 6792 阅读, 收藏, 编辑
摘要: 开篇介绍在 SSIS Data Flow 中有一个 Multicast 组件,它的作用和 Merge, Merge Join 或者 Union All 等合并数据流组件对比起来作用正好相反。非常直观,它可以将一个数据流平行分开成为多个数据流供下游其它 Data Flow 组件使用。使用 Multic... 阅读全文

微软BI 之SSIS 系列 - 在 SSIS 中使用 Web Service 以及 XML 解析

2013-09-17 21:44 by BIWORK, 6560 阅读, 收藏, 编辑
摘要: 开篇介绍Web Service 的用途非常广几乎无处不在,像各大门户网站上的天气预报使用到的第三方 Web Service API,像手机客户端和服务器端的交互等都可以通过事先设计好的 Web Service 接口来实现两个不同平台的信息沟通。记得第一次做 IPhone 手机客户端与服务器端交互的 ... 阅读全文

微软BI 之SSIS 系列 - Merge, Merge Join, Union All 合并组件的使用以及Sort 排序组件同步异步的问题

2013-09-08 21:41 by BIWORK, 11512 阅读, 收藏, 编辑
摘要: 开篇介绍SSIS Data Flow中有几个组件可以实现不同数据源的数据合并功能,比如Merger, Merge Join和Union All。它们的功能比较类似,同时也比较容易混淆,下面是对它们之间的区别的对比总结。下面通过三个Data Flow来演示这三个组件的使用以及相关的配置。测试数据源-第... 阅读全文

微软BI 之SSIS 系列 - Lookup 组件的使用与它的几种缓存模式 - Full Cache, Partial Cache, NO Cache

2013-09-04 20:28 by BIWORK, 11348 阅读, 收藏, 编辑
摘要: 开篇介绍先简单的演示一下使用 Lookup 组件实现一个简单示例 - 从数据源表 A 中导出数据到目标数据表 B,如果 A 数据在 B 中不存在就插入新数据到B,如果存在就更新B 和 A 表数据保持统一。随后再来解释在这个过程中使用到的一些术语,以及分析一下 Lookup 中出现的几种缓存模式,各自... 阅读全文

微软BI 之SSIS 系列 - 利用 SSIS 模板快速开发 SSIS Package

2013-06-20 17:39 by BIWORK, 6922 阅读, 收藏, 编辑
摘要: 开篇介绍在做 ETL 项目的时候,往往很多 Package 的开发都是基于相同的模型和流程。比如在 Package 开始运行时需要向 Process Log 表中插入记录,在 Package 运行结束的时候更新运行状态。在错误处理阶段同一个项目中的所有 Package 也是相同的处理方式,除此之外还... 阅读全文

在 Visual Studio 2012 开发 SSIS,SSAS,SSRS BI 项目

2013-05-12 21:16 by BIWORK, 15955 阅读, 收藏, 编辑
摘要: 新安装了 SQL Server 2012 和 Visual Studio 2012.准备在 VS 2012 中创建一个 BI 项目, 但是发现找不到这一项.后来想起来在装完 SQL Server 2012 以后, 以前的 BIDS 工具的名称也变成了 SQL Server Data Tools (SSDT), 但是实际上使用的还是 Visual Studio 2010 Shell查看了一下资料, 原来如果要在 Visual Studio 2012 中集成 BI 项目的话还需要集成一个插件Microsoft SQL Server Data Tools - Business Intelligenc 阅读全文

微软BI 之SSIS 系列 - 在 SSIS 中读取 SharePoint List

2013-05-10 17:31 by BIWORK, 4803 阅读, 收藏, 编辑
摘要: 开篇介绍由于项目需要我们会从SharePoint 上读取一些配置数据,同时也有可能执行一些回写操作去更新SharePoint 的数据。之前没有做过这样的操作,有的也应该是通过 C# 编程去获取或者写入一些数据。查阅了一些相关的文章,自己也动手测试了一下如何在 SSIS Package 中访问Shar... 阅读全文

SSIS 小脚本 - 时间参数验证

2013-01-14 11:16 by BIWORK, 1141 阅读, 收藏, 编辑
摘要: 项目中也经常使用到时间参数的验证,例如根据某一时间范围来从Source中过滤一些数据. 在运行Package之前需要配置这些时间格式的参数,因此需要验证这些参数是否是正确的时间格式. 并且通常还有时间大小的验证,例如起始时间要小于结束时间./* Microsoft SQL Server Inte... 阅读全文

SSIS 小脚本 - 文件路径验证

2013-01-14 11:00 by BIWORK, 1679 阅读, 收藏, 编辑
摘要: 之前项目中经常有文件的读取或者输出操作,其中最重要的就是在处理文件输入/输出之前验证文件的路径是否存在,如果不存在就输出错误./* Microsoft SQL Server Integration Services Script Task Write scripts using Micros... 阅读全文

容易遗忘的一些小代码之 PIVOT 和 UNPIVOT

2013-01-07 15:23 by BIWORK, 653 阅读, 收藏, 编辑
摘要: 这个代码以前也经常使用, 不过一段时间之后,每每有人问起如何使用或者要求帮忙检查出错问题时,就要回头再看看这个例子.还好自己搞过,留个底子在这里. 对 PIVOT 和 UNPIVOT 最简单描述 - 行转列,列转行!!!SSIS 中也有这样的一个控件,实现的效果也是一样的.--------------------------------------------------------------------- PIVOT demo from MSDN document---------------------------------------------------------------- 阅读全文

容易遗忘的一些小代码之 Merge Operation and Output Clause

2013-01-07 15:17 by BIWORK, 692 阅读, 收藏, 编辑
摘要: 根据与源表, 对目标表执行插入、更新或删除操作.根据在另一个表中找到的差异在一个表中插入,更新或删除行,可以对两个表进行同步. 在数据仓库应用中,这种SQL语句的使用比SSIS工具的使用更加容易维护些,因为表同步的逻辑可以写在存储过程中,维护的时候只需要维护存储过程即可,而不需要打开Package去检查SSIS Component的配置. /** Merge Operation and Output Clause**/-- Source tableDECLARE @SourceTable TABLE( ID INT PRIMARY KEY, DSPT VARCHAR(50))-- Ta... 阅读全文
点击右上角即可分享
微信分享提示