摘要：1、什么是物理服务器 物理服务器与虚拟服务器的比较应从定义开始。物理服务器，也称为“裸机服务器”，是单租户计算机服务器，这意味着将特定的物理服务器指定给单个用户。物理服务器的资源和组件不会在多个用户之间共享。每个物理服务器都包括内存，处理器，网络连接，硬盘驱动器以及用于运行程序和应用程序的操作系统（ 阅读全文

摘要：数据仓库ETL搭建 一、 数据抽取 数据源是指存储数据的源头，包括结构化数据、半结构化数据、非结构化数据等。 1.1结构化数据 可以采用直连数据库的方式进行抽取，一般采用JDBC（Java Database Connectivity）。这种方式的优点是数据抽取效率高，但会增加数据库负载，因此需要控制 阅读全文

摘要：数据治理、数据资产相关理论知识名词概念 1. 基础理论知识 1.1数据 数据（Data），或称数据资源，是指所有能输入到计算机并被计算机程序处理的符号的介质的总称，是用于输入电子计算机进行处理，具有一定意义的数字、字母、符号和模拟量等的通称，是组成信息系统的最基本要素。 1.2大数据 大数据（Big 阅读全文

摘要：容易混淆的数据治理的概念 1、 数据管理是不是数据治理 不是、数据管理和数据治理的区别是数据管理包含数据治理，广义的数据治理和数据管理范围一样，目前国内大部分说的是广义的数据治理，数据治理是等于数据管理，但是国外数据治理是指制订治理规范，保障数据管理能够顺利完成的工作，是侠义的数据治理。 那么数据管 阅读全文

摘要：元数据管理 一个企业中的数据可能分布在不同的部门、系统和地方，而这些数据往往以不同的形式存在，难以进行有效管理和利用，如何高效管理这些数据，元数据管理则是解决这个问题的关键工作之一。本文将详细介绍元数据管理的概念、意义以及如何做好元数据管理。 1.元数据介绍 关于元数据《DAMA数据管理知识体系指南 阅读全文

摘要：数据采集 数据采集是指从各种来源中获取数据并整理、存储数据的过程，足够、准确和可靠的数据是指导企业在产品、运营和业务等多方面决策的前提。笔者将从数据采集意义、数据来源、采集方式等方面介绍数据采集相关工作。 1.数据采集的意义 数据采集是数据应用的源头，也是数据治理实践中的第一个环节。数据采集若没做好 阅读全文

摘要：主数据管理 一、主数据基本概念 1.1主数据定义 主数据（Master Data）是指在一个组织内部跨多个系统、应用程序和业务过程中共享、使用和维护的关键业务实体的核心数据。这些数据通常包括客户、产品、供应商、员工和其他重要的业务对象的信息。主数据的目的是确保数据在组织内的一致性、准确性和可靠性。 阅读全文

摘要：数据仓库建设 近年来，随着银行业务日益发展、监管要求不断深化，银行逐步将数据分析、数据应用、数据挖掘作为金融业务发展和管理决策的重要支撑手段，将数据作为行内的核心资产，不断拓展数据应用场景，提升数据资产管理能力。烟囱式系统建设模式会给数据建设带来严重后果，数据标准、数据规范无法按预期实施，数据质量提 阅读全文

摘要：数据仓库建设方法论 了解决多数据源导致的口径不一致、数据无关联、数据质量差、缺少历史数据、开发效率低等问题，企业需要构建企业级数据仓库，对数据进行规整和高效利用。除此以外，由于直连业务系统支撑多方报表导致读写交叉性能降低，影响正常业务系统使用的问题也可解决。 构建企业级数据仓库的步骤分为调研、数仓设 阅读全文

摘要：数据仓库MPP架构&分布式架构 一、MPP架构 1.1MPP架构概述 MPP（Massively Parallel Processing）架构是一种分布式数据处理技术，能够通过将工作负载分散到多个节点上来提高数据处理性能。与传统的共享架构不同，MPP采用非共享架构（Share Nothing），将单 阅读全文

摘要：数据仓库基本概念 一、数据仓库诞生原因 随着互联网的普及，信息技术已经深入到各行各业，并逐步融入到企业的日常运营中。然而，当前企业在信息化建设过程中遇到了一些困境与挑战。 1.1历史数据积存 过去企业的业务系统往往是在较长时间内建设的，很少进行大面积的改造或者升级，历史数据留存在业务系统中。随着业务 阅读全文

摘要：湖仓一体架构 多源异构数据爆炸式增长带来数据沼泽、信息孤岛等问题，导致无用数据和陈旧数据产生，而数据湖凭借原始格式存储、数据存储类型多样和开放访问等优势解决了数据存入问题，但其缺乏事务管理支持能力、数据治理能力，从而限制了数据产出。 因此，企业多以将数据提取/加载/转换（ELT）到数据湖后再提取/转 阅读全文

摘要：一、Hadoop常用命令合集 Hadoop常见命令总结_hadoop -get_GoAI的博客-CSDN博客 1.1、常见基础命令 1.1.1启动Hadoop (1)进入HADOOP_HOME目录 (2)执行sh bin/start-all.sh 1.1.2关闭Hadoop (1)进入HADOOP_ 阅读全文

摘要：数据仓库基本概念一、数据仓库基本概念： 1.面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策，数据挖掘。 2.背景：急需数据整合，避免信息孤岛，进行批量数据分析，引入数据仓库的思想。 3.OLTP与数据仓库： OLTP（操作型）：面向应用的、事务驱动、实时性高、数据减检索量小 阅读全文