数据治理包括哪些方面
摘要：从技术实施角度看，数据治理包含“理”“采”“存”“管”“用”这五个步骤，即业务和数据资源梳理、数据采集清洗、数据库设计和存储、数据管理、数据使用。 数据资源梳理：数据治理的第一个步骤是从业务的视角厘清组织的数据资源环境和数据资源清单，包含组织机构、业务事项、信息系统，以及以数据库、网页、文件和 AP
阅读全文
posted @
2021-12-13 13:04
望穿秋水
阅读(2173)
推荐(0) 编辑
Analysis Services（SSAS） 性能优化
摘要：1、聚合选项中添加聚合，以空间换时间提升性能。 如下图： 性能提升百分比越高，聚合数越高，生成的Cube越大，这就是以空间换时间。 2、修改SSAS服务器上的线程池配置选项、提升并发数。 通过X:\Program Files\Microsoft SQL Server\MSAS14.MSSQLSERV
阅读全文
posted @
2019-04-24 08:22
望穿秋水
阅读(1287)
推荐(0) 编辑
大数据OLAP引擎对比
摘要：Presto：内存计算，mpp架构 PB级别数据 presto适合pb级的海量数据查询分析，不是说把pb的数据放进内存，比如一张pb表，查询count，vag这种有个特点，虽然数据很多，但是最终的查询结果很小，这种就不会把数据都放到内存里面，只是在运算的过程中，拿出一些数据放内存，然后计算，在抛出，
阅读全文
posted @
2018-11-19 09:53
望穿秋水
阅读(377)
推荐(0) 编辑
http 连接 analysis service (ssas)
摘要：当数据仓库搭建好后，我们就可以通过sqlserver的管理工具查看服务器上的数据集了。但是这样挺不方便的，如果要远程访问，那么就可以通过http来连接数据仓库。要配置数据仓库http连接非常的简单。如果是sqlserver 2000的版本，那么可以找到Msolap.asp这个文件，通过配置到IIS站
阅读全文
posted @
2018-11-09 14:39
望穿秋水
阅读(585)
推荐(0) 编辑
数据挖掘九律
摘要：有位挖掘专家tom khabaza提出了挖掘九律，挺好的东西，特别是九这个数字，深得中华文化精髓，有点独孤九剑的意思：第一，目标律。数据挖掘是一个业务过程，必须得有业务目标。无目的，无过程。第二，知识律。业务知识贯穿在挖掘这个业务过程的各环节。第三，准备律。数据获取、数据准备等数据处理耗时占整个挖掘
阅读全文
posted @
2018-11-08 10:02
望穿秋水
阅读(204)
推荐(0) 编辑
数据分析能力的8个等级
摘要：并非所有的分析方法作用都相同。和大多数软件解决方案一样，你会发现分析方法的能力也存在差异，从简单明了的到高级复杂。下面我们按照不同分析方法所能给人带来的智能程度，把分析能力划分为8个等级。 回答: 发生了什么？什么时候发生的？ 示例：月度或季度财务报表 我们都见过报表，它们一般是定期生成，用来回答在
阅读全文
posted @
2018-11-08 10:00
望穿秋水
阅读(619)
推荐(0) 编辑
VS打开SSAS或SSIS报错的解决办法
摘要：Microsoft Visual Studio 无法加载类型为“Microsoft.AnalysisServices.Database, Microsoft.AnalysisServices.AppLocal, Version=14.0.0.0, Culture=neutral, PublicKey
阅读全文
posted @
2018-10-30 13:46
望穿秋水
阅读(1156)
推荐(0) 编辑
数据仓库事实表分类[转]
摘要：1）在数据仓库领域有一个概念叫Transaction fact table，中文一般翻译为“事务事实表”。 事务事实表是维度建模的数据仓库中三种基本类型事实表中的一种，另外两种分别是周期快照事实表和累积快照事实表。 事务事实表与周期快照事实表、累积快照事实表使用相同的一致性维度，但是它们在描述业务事
阅读全文
posted @
2018-08-17 09:08
望穿秋水
阅读(831)
推荐(0) 编辑
数据仓库的架构以及数据分层【转】
摘要：数据仓库分层的原因 1通过数据预处理提高效率，因为预处理，所以会存在冗余数据 2如果不分层而业务系统的业务规则发生变化，就会影响整个数据清洗过程，工作量巨大 3通过分层管理来实现分步完成工作，这样每一层的处理逻辑就简单了 标准的数据仓库分层：ods（临时存储层），pdw（数据仓库层），mid（数据集
阅读全文
posted @
2018-07-12 09:00
望穿秋水
阅读(534)
推荐(0) 编辑
数据仓库学习笔记
摘要：1、基于RDBMS的数据仓库实现：数据仓库的设计也可以理解为面向OLAP的数据库设计。数据仓库的设计模式分为星型结构、雪花结构(1个维度表向外连接子维表)、星座结构（1个维度被多个事实表使用）。在星型模型中主要数据存储在事实表中，没有冗余，并符合3NF 2、除了对应到维度的外码和度量属性，事实表中还
阅读全文
posted @
2018-07-05 15:21
望穿秋水
阅读(359)
推荐(0) 编辑
