摘要:
What steps do you take to determine the bottleneck of a slow running ETL process?如果ETL进程运行较慢,需要分哪几步去找到ETL系统的瓶颈问题。答:ETL系统遇到性能问题,运行很慢是一件较常见的事情,这时要做的是逐步找... 阅读全文
2015年12月7日 #
摘要:
把企业中的BI使用者的角色分成如下几类:系统管理员:没有数据权限;没有功能权限;负责配置其他人的权限;BI专家:拥有所有数据权限;拥有多维分析,报表查看,报表开发,模型开发权限;负责开发和维护BI系统;商务分析师:拥有所有数据权限;拥有多维分析,报表查看,报表开发权限;负责在公司和运营的层面进行数... 阅读全文
摘要:
最近在优化公司的数据仓库项目中ETL部分,发现有一处明显可以改进的地方,发出来和大家分享一下。在数据仓库中一个一个超级大维度表(1亿左右的记录),更新这个维度表的时候,采取的策略是最简单的1类渐变维度,即存在则更新,不存在则插入。原先的方式是在ETL过程中先查找这个大表本身,如果存在就打上updat... 阅读全文
摘要:
http://www.doc88.com/p-1794327644475.html 阅读全文
摘要:
一、DW2.0从企业的角度,吸引企业的原因: 1.数据仓库基础设施的成本不再持续增长。在第一代数据仓库中,技术基础设施的成本是不断增长的,随着数据量的增长,基础设施的成本会以指数级增长。但是使用DW2.0,数据仓库的这一成本会趋于平稳。 2.使用元数据将基础设施结合在一起,这意味着数据不会轻易丢失。... 阅读全文
摘要:
二、ETL测试过程:在独立验证与确认下,与任何其他测试一样,ETL也经历同样的阶段。1)业务和需求分析并验证。2)测试方案编写3)从所有可用的输入条件来设计测试用例和测试场景进行测试4)执行所有用例直到满足退出标准5)书写总结报告和测试过程结束。三、ETL测试的规则:测试数据的正确性、一致性、完整性... 阅读全文
2015年12月5日 #
摘要:
一个由C/C++编译的程序占用的内存分为以下几个部分1、栈区(stack)— 由编译器自动分配释放 ,存放函数的参数值,局部变量的值等。其操作方式类似于数据结构中的栈。2、堆区(heap) — 一般由程序员分配释放, 若程序员不释放,程序结束时可能由OS回收 。注意它与数据结构中的堆是两回事,分配方... 阅读全文
2015年12月3日 #
摘要:
Java Web开发方案有多种可供选择,这里列举一些经典的开发模式进行横向比较,为Java Web的开发模式选择提供参考。除此之外还有好多方案(如Tapestry和Wicket等等)并不了解,这里就不列举了。JSP+JAVABEAN开发模式: 特点:该模式将业务逻辑与页面表现进行分离,在一定程度上增... 阅读全文
摘要:
我们可以在计算机上运行各种计算机软件程序。每一个运行的程序可能包括多个独立运行的线程(Thread)。线程(Thread)是一份独立运行的程序,有自己专用的运行栈。线程有可能和其他线程共享一些资源,比如,内存,文件,数据库等。当多个线程同时读写同一份共享资源的时候,可能会引起冲突。这时候,我们需要引... 阅读全文
摘要:
什么是消息?何为消息?消息就是带有某种信息的信号,如你用鼠标点击一个窗口会产生鼠标的消息,键盘输入字符会产生键盘的消息,一个窗口大小的改变也会产生消息。 消息从何而来?根据冯·诺依曼的体系结构计算机有运算器、存储器、控制器和输入设备和输出设备五大部件组成,消息主要来自输入设备,如键盘、鼠标、扫描仪等... 阅读全文