数据仓库ETL搭建
摘要：数据仓库ETL搭建 一、 数据抽取 数据源是指存储数据的源头，包括结构化数据、半结构化数据、非结构化数据等。 1.1结构化数据 可以采用直连数据库的方式进行抽取，一般采用JDBC（Java Database Connectivity）。这种方式的优点是数据抽取效率高，但会增加数据库负载，因此需要控制
阅读全文
posted @ 2023-08-09 14:37
随笔分类 - 大数据建设 / 数据仓库
数据仓库实践
摘要：数据仓库建设 近年来，随着银行业务日益发展、监管要求不断深化，银行逐步将数据分析、数据应用、数据挖掘作为金融业务发展和管理决策的重要支撑手段，将数据作为行内的核心资产，不断拓展数据应用场景，提升数据资产管理能力。烟囱式系统建设模式会给数据建设带来严重后果，数据标准、数据规范无法按预期实施，数据质量提
阅读全文
posted @ 2023-07-05 11:14
数据仓库建设方法论
摘要：数据仓库建设方法论 了解决多数据源导致的口径不一致、数据无关联、数据质量差、缺少历史数据、开发效率低等问题，企业需要构建企业级数据仓库，对数据进行规整和高效利用。除此以外，由于直连业务系统支撑多方报表导致读写交叉性能降低，影响正常业务系统使用的问题也可解决。 构建企业级数据仓库的步骤分为调研、数仓设
阅读全文
posted @ 2023-07-05 11:10
数据仓库MPP架构&分布式架构
摘要：数据仓库MPP架构&分布式架构 一、MPP架构 1.1MPP架构概述 MPP（Massively Parallel Processing）架构是一种分布式数据处理技术，能够通过将工作负载分散到多个节点上来提高数据处理性能。与传统的共享架构不同，MPP采用非共享架构（Share Nothing），将单
阅读全文
posted @ 2023-07-05 10:47
数据仓库基本概念
摘要：数据仓库基本概念 一、数据仓库诞生原因 随着互联网的普及，信息技术已经深入到各行各业，并逐步融入到企业的日常运营中。然而，当前企业在信息化建设过程中遇到了一些困境与挑战。 1.1历史数据积存 过去企业的业务系统往往是在较长时间内建设的，很少进行大面积的改造或者升级，历史数据留存在业务系统中。随着业务
阅读全文
posted @ 2023-07-05 09:48
了解数据仓库
摘要：数据仓库基本概念一、数据仓库基本概念： 1.面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策，数据挖掘。 2.背景：急需数据整合，避免信息孤岛，进行批量数据分析，引入数据仓库的思想。 3.OLTP与数据仓库： OLTP（操作型）：面向应用的、事务驱动、实时性高、数据减检索量小
阅读全文
posted @ 2022-05-17 18:27
