摘要:问题:由于数据庞大,我在数据库里面使用了分区表,建了很多文件组,一个分区对应一个文件组,一个文件组只有一个文件。我在建分区表的时候,在数据库属性里面“文件”选项中,本来逻辑名称为“TradeDataDW201006”应该指向文件组“TradeDataDW201006”,但是刚开始弄错了指向文件组“TradeData...
阅读全文
摘要:Position NameSoftware Engineer II/III/IV - Database EngineerDescriptionInternational Game Technology (NYSE:IGT) is theworld leader incasino games,technology, and systems. We are currently experiencing...
阅读全文
摘要:编写简单SSIS包光看MSDN应该就问题不大了,最近几天几个朋友来问我SSIS的调用问题,然后想起我当初实现调用SSIS包的问题的时候也走了不少弯路,确实这方面的资料网上很少.下面我总结了一下,大概分为这么三类吧.1.使用sqserver2005的代理服务来新建作业来执行包任务;2.使用编程语言来实现包的调用,比如c#或者vb.net等;3.使用存储过程或者sql语句来调用包;下面我们一个一个展开...
阅读全文
摘要:这是普科公司的一款产品,是对微软的analysis services 支持最好的OLAP分析工具。目前已经被微软收购,这个东东真的很好用,下载地址是http://www.microsoft.com/downloads/details.aspx?FamilyID=1FBEB8A0-25E6-4963-9CF2-B0A3C6852F49&displaylang=en
阅读全文
摘要:在电子商务网站中,假如我们需要分析用户的地区的分布的时候,虽然一般的网站都有记录用户所在省份和地区的字段,但是一般的网站都不会去核实用户的这些信息,因此数据的准确性就有比较大的偏差,甚至很多用户都不填写这个信息(如果不是必填项的话),那么这个时候用户注册时候的IP地址就显得可靠多了,但是要把IP地址转换成地区并非易事,倒不是说这个技术很难实现,是因为IP分配规则太乱了,不象邮政编码或者区号那么定的...
阅读全文
摘要:作者:周四阳 蔡自兴 1 引言 数据仓库建设中的ETL(Extract, Transform, Load)是数据抽取、转换和装载到模型的过程,整个过程基本是通过控制用SQL语句编写的存储过程和函数的方式来实现对数据的直接操作,SQL语句的效率将直接影响到数据仓库后台的性能。 目前,国内的大中型企业基本都具有四年以上计算机信息系统应用经验,积累了大量可分析的业务数据,这...
阅读全文
摘要:最近做的这个项目,由于表数据量都很大,碰到不少疑难杂症,今天暂时总结几个。 1。使用SSIS新建包的过程中,拖了一个数据源到数据流面板,在数据源里面指定一条sql语句来取数(select distinct * from publishbill),而这张表的数据量非常大的时候,那么这个时候就很容易假死。我等了几个小时都不动,只有把VS关掉,重新来。我找到的解决方法是,另外建一个和这个数据源库结构一样...
阅读全文
摘要:(非常抱歉,上次写文章的时候,有点粗心大意了,没有经过详细测试,以下第一种方法是有问题的,但是思想是对的,可以换成脚本组件的方式来实现,先使用脚本查找维度表,如果不存在则插入一条维度数据,返回插入的维度代理键;如果存在,则直接返回维度代理键) 好久没有写文章了,人有些变懒了,最近除了用Sqlserver2005BI平台在做一个大型项目外,空闲时间也研究了一下另外一个非常优秀的开源的BI平台,是pe...
阅读全文
摘要:SqlServer Analysis Services 处理维度的内存错误 错误描述: 由于对内存配额的估计值(xxxxMB)超过了系统所能提供的内存量(1330MB),导致该操作无法完成。 错误原因: 这个问题是因为sqlserver预计处理内存超过了配置的最大内存。最初碰到也没有在网上找到正确的解决办法,包括向官方咨询也没有结果,最后仔细研究了一下olap的配置文件OLAP\Config\m...
阅读全文
摘要:看了好几个园子里的朋友的回复,觉得有不少朋友对BI和数据仓库的概念还没有一个比较完整的了解。不过能够来到这里作客真的非常欢迎。如果有兴趣一起研究BI的朋友,可以看看以下我推荐的书籍,以下的书籍我都买过了,都看过,但是有的只是粗粗看了一遍。 1.《数据仓库》W.H.Inmon著,王志海 等译(注:这本书可以说是我的入门书,堪称经典,就是比较枯燥) 2.《数据仓库设计》Claudia Imhoff,N...
阅读全文
摘要:本篇内容我准备介绍一下IntetrationService中的“渐变维度”组件。 在介绍这个组件怎么使用之前我先说明一下业界通常是怎么处理渐变维度的,教科书上一般叫缓慢变化维 。 下面举个例子说明什么叫做缓慢变化维。 在一个零售业数据仓库中,事实表保存着各销售人员的销售记录,某天一个销售人员从北京分公司调到上 海分公司了,那么如何来保存这个变化呢?也就是说销售人员维度要怎么恰当的处理这一变化。先来...
阅读全文
摘要:荒废了两个月,终于又想起来写点东西了。从今天开始,我将会对我在数据仓库项目中使用到的 IntetrationService组件做一些使用介绍。我也是边学边做的,如果有使用不当之处还忘行家给我指出一 下。 我准备一篇就介绍一个组件,虽然篇幅是少了点,但是我想这样可能更清晰一点。如果单个组件不足以说 明问题,那我在以后的文章中,会把各个组件结合起来做一个稍微复杂的案例。 这篇就介绍数据流转换组件中的“...
阅读全文
摘要:Sqlserver2005 中的analysis services支持两种数据库连接方式 (1)windows验证方式(形如"Data Source=limj;Catalog=Analysis Services Tutorial;ConnectTo=9.0;Integrated Security=SSPI"); (2)http验证方式(形如"Provider=MSOLAP;User ID=admi...
阅读全文
摘要:接着我们上次那篇《一步一步学习sqlserverBi--多维数据库建立》,现在我们多维数据库已经有了,并且里面也已经有了数据,那么赶快进入咱们程序员的主题吧。 今天我要在这个多维数据库上面开发两个应用: 1。按天统计各个部门的交易量 2。按天统计各个部门和各个游戏的交易量 首先设计强类型的数据集,如下图。 按部门统计数据集 按部门和游戏交叉统计数据集 设计MDX语句,在数据层执行MDX,并...
阅读全文
摘要:接着我们上节的《一步一步学习sqlserver BI--ETL设计》,现在我们的游戏交易数据分析系统的数据仓库已经建好了,并且也已经有数据了,让我们开始我们的OLAP过程吧。 在这一节中,我们主要详细的讲解使用Sqlserver2005 Analysis Service 来建立多维数据库的过程。 首先我么新建一个Analysis Services 项目,建好以后,我们将会在我们的解决方案资源管理器...
阅读全文
摘要:这节我们主要讲讲我的游戏交易数据分析项目的ETL(数据抽取、加载、转换)具体是怎么做的。 先来讲下源系统吧,因为我们的交易主站的服务器不是架在公司的,因此不能直接从源系统直接抽取数据了。事实上我们已经存在一个简单的数据分析系统了,只不过这个是以前人家做的,没有采用sqlserver2005的BI平台来做,而是直接写winform程序来弄的。原来的数据抽取是主站那边提供导出的excel文件过来,然后...
阅读全文
摘要:本文目的 对丰富的函数集可以提供的强大功能有一个直观的认识 看看Microsoft是怎样应用函数,也许可以参考借鉴; 应用举例 成员百分比分析 函数:CurrentMember、Parent等; 分析各城市的销售所占全部城市的总销售额百分比。 WITH MEMBER Measures.[Unit Sales Percent] AS '((Store.CURR...
阅读全文
摘要:因为项目还没有真正开始,但是接触BI已有半年多,手痒,这几天准备 搞一个简化版本的BI项目。一方面给刚BI入门的朋友一个参考,另外一 方面也为自己的将要开始的项目做个准备,让自己能够考虑到一些项目 的细节。同时也希望对BI有研究的朋友提供一些建议和经验。 因为我们的这个案例是采用微软的sqlserver2005的BI平台开发的,所以 这里先贴一张WebCast里面截来的图,这张图主要反映了采用 s...
阅读全文
摘要:注意:这篇文章其实在几天前我已经写过,但是那是我的第一片文章, 写的相当粗糙,很多东西都没有写详细,只是草草的提供了源码的下载 ,看到我的那篇点击量有点大,给了我不少安慰, 因此决定重写KPI展示这片文章。没有深入了解过的朋友请继续往下看。 关于sqlserver2005中的KPI特性,相信接触过sqlserver2005的BI的平台 的朋友都有所耳闻。并且跟数据挖掘查看器一样,微软只在 sqls...
阅读全文
摘要:在报表开发中,我们都希望设计出的报表非常美观,就象Excel2007给我们带来的全新的视觉感受一样,让使用者感觉很舒服。 美观性设置中,在报表中奇偶行显示不同的背景颜色就是其中的一种,那么我们就来介绍一下在Reporting Services 2005中如何来实现。 方法一:系统函数 设置所有单元格的背景为如下表达式: ...
阅读全文