数据治理2 有用 看1
🌐数据治理是一个综合性的概念,它是指组织或企业如何管理、维护、保护和优化其数据资产的过程。数据治理包括数据策略、数据管理、数据质量、数据安全、数据架构、数据流程和数据文化等方面。
1️⃣数据策略是指制定数据治理的目标、原则和规范,以确保数据的质量和价值;
2️⃣数据管理是指对数据进行收集、存储、处理和使用等方面的管理;
3️⃣数据质量是指确保数据的准确性、完整性、一致性和可靠性;
4️⃣数据安全是指保护数据的机密性、完整性和可用性,防止数据泄露、滥用和损坏;
5️⃣数据架构是指设计和维护数据的结构和关系,以实现数据的合理组织和使用;数据流程是指管理数据的各个环节和流程,以确保数据的质量和可靠性;
6️⃣数据文化是指企业内部建立的数据管理文化和价值观,以促进数据的合理使用和共享。
数据治理是一个长期的、复杂的过程,它需要企业内部不同部门的协作和沟通,以确保数据的质量和价值。数据治理需要不断地适应企业内部和外部环境的变化,以确保数据的合理使用和管理。数据治理可以帮助企业实现数据的价值最大化,从而提高企业的业务效率和竞争力。
1. 什么是数据治理
数据治理的定义
数据治理的定义:
数据治理是一种组织数据、规范数据、管理数据的过程,旨在确保数据的质量、可靠性、可用性和安全性。它涉及到数据的收集、存储、处理、分析和共享等方面,是企业数据管理的重要组成部分。数据治理旨在确保企业数据的一致性、准确性和可信度,从而帮助企业做出更好的决策,提高业务效率和竞争力。
数据治理的目的- 数据治理的目的:
确保数据的准确性和一致性,以保证业务决策的正确性。
保护数据的安全性和隐私性,以避免数据泄露和滥用。
优化数据的利用和共享,以提高业务效率和创新能力。
2. 数据治理的重要性
数据治理的优点
数据治理的优点:
提高数据质量,减少数据错误
降低数据冗余,提高数据利用率
管理数据安全,保护数据隐私
优化数据流程,提高工作效率
支持数据分析,帮助业务决策
遵守数据法规,降低法律风险
促进跨部门数据共享,加强协作效果
简化数据管理,降低管理成本
提高企业形象,增强市场竞争力
数据治理的必要性- 数据治理的必要性:
确保数据质量,避免数据脏乱差,提高数据可信度。
确保数据安全性,保护数据隐私,避免数据泄露。
确保数据合规性,遵守法律法规,避免违规操作。
提高数据利用率,让数据更好地为业务服务,提高业务效率。
降低数据管理成本,避免数据重复存储和管理,提高数据利用效率。
3. 数据治理的实施
数据治理框架
数据治理框架
组件 描述
数据识别 确定数据的来源、格式、价值和风险
数据分类 将数据按照一定的规则进行分类,以方便管理和维护
数据质量管理 确保数据的准确性、完整性、一致性和可靠性
数据安全 确保数据的机密性、完整性和可用性
数据访问和共享 管理数据的访问权限和共享规则
数据生命周期管理 管理数据从创建到销毁的整个生命周期
数据治理监控和报告 监控和报告数据治理的进程和结果
数据治理流程
数据治理流程:
步骤 描述
1 确定数据治理的目标和范围
2 识别数据所有权和责任
3 确定数据质量标准和度量指标
4 制定数据访问和使用政策
5 确定数据生命周期管理策略
6 实施数据分类和分级
7 确定数据备份和恢复策略
8 实施数据安全和隐私保护
9 监控和审计数据使用和访问
10 定期评估和更新数据治理策略
数据治理的最佳实践- 数据治理的最佳实践:
确定数据治理目标和范围,建立数据治理团队和流程。
制定数据标准和规范,确保数据质量和一致性。
建立数据分类和分级制度,保护敏感数据和隐私信息。
建立数据安全保障机制,确保数据安全和可靠性。
建立数据访问和使用规范,保障数据合规性和合法性。
建立数据管理和监控机制,确保数据可追溯和可控性。
实施数据风险评估和应急预案,应对数据安全事件和灾难。
4. 数据治理的挑战
数据治理的难点
数据来源的多样性:数据来自不同的系统、应用、业务等,数据格式、数据质量、数据安全性等方面存在差异。
数据量的增长:数据量的增长速度非常快,对数据的存储、处理、分析等方面提出了更高的要求。
数据质量的保障:数据质量是数据治理的核心问题,需要保证数据的准确性、完整性、一致性、可靠性等。
数据安全的保护:数据泄露、数据丢失等安全问题是数据治理中需要重点关注的问题,需要采取安全措施进行保护。
数据治理的成本:数据治理需要投入大量的人力、物力和财力,成本较高,需要合理规划和控制。
数据治理的解决方案- 数据治理的解决方案:
数据质量监控:使用数据质量工具对数据进行监控和分析,及时发现和解决数据质量问题。
数据分类和标准化:对数据进行分类和标准化,使得数据更易于管理和使用。
数据安全和隐私保护:建立数据安全和隐私保护机制,保障数据的安全性和隐私性。
数据治理流程优化:优化数据治理流程,提高数据治理效率和效果。
数据治理人才培养:加强数据治理人才培养,提高数据治理水平和能力。
5. 数据治理的未来
数据治理的趋势
自动化数据治理流程,例如使用机器学习和人工智能技术来自动化数据质量检测和修复。
数据治理与隐私保护的融合,例如在数据处理过程中保护用户隐私,同时确保数据的准确性和完整性。
数据治理的标准化,例如制定通用的数据治理标准和最佳实践,以便不同组织之间进行数据交换和共享。
数据治理的云化,例如将数据治理工具和流程迁移到云端,以提高效率和灵活性。
数据治理的多元化,例如在数据治理过程中考虑不同类型的数据,例如结构化数据、非结构化数据和半结构化数据。
数据治理的治理框架,例如建立完整的数据治理框架,以确保数据治理的全面性和可持续性。
数据治理的发展方向- 自动化和智能化:数据治理将更多地依赖自动化和智能化技术,包括机器学习、人工智能、自然语言处理等,以提高数据质量和准确性。
数据治理的云化:随着云计算的普及和发展,数据治理也将越来越多地向云端转移,包括数据存储、数据处理、数据安全等方面。
数据治理的开放性:数据治理将更加注重数据的共享和开放,以促进数据的跨部门、跨组织的流动和应用,同时也需要更加严格的数据安全控制。
数据治理的标准化:数据治理需要更加统一的标准和规范,以确保数据的一致性和可信度,同时也需要更加灵活和适应性强的数据治理方案,以应对不同的业务需求和场景。
数据治理的全球化:数据治理将更加面向全球化,需要考虑不同国家和地区的法律法规、文化习惯、数据安全等方面的因素,以确保数据的合规性和可控性。
-----
随着数字化时代的到来,数据已经成为推动经济、科技和社会发展的重要资源。然而,随之而来的是对数据治理和隐私保护的挑战。数据治理是指有效管理、维护和保护数据的过程,而隐私保护则关注如何在数据开放的同时保障个人和组织的隐私权利。在这个信息爆炸的时代,如何平衡数据开放与隐私需求成为了一个亟待解决的问题。本文将探讨数据治理与隐私保护的重要性、挑战以及如何在两者之间寻找平衡。
![](https://pics1.baidu.com/feed/5366d0160924ab1870516fc096a47cc17a890b69.jpeg@f_auto?token=f29e3b4a7673c0a367a930c2b37a134f)
一、数据治理与隐私保护的重要性
-
促进创新与发展:有效的数据治理可以帮助企业和机构更好地利用数据资源,促进创新和发展。同时,隐私保护可以增强用户的信任,推动更多人愿意分享数据。
-
维护隐私权利:随着数据的不断积累和共享,个人的隐私越来越容易受到侵犯。隐私保护的重要性在于保障个人的基本权利和尊严。
-
防止滥用与风险:不当使用数据可能导致滥用、侵权和数据泄露等风险。数据治理和隐私保护可以帮助规范数据的使用,减少潜在的风险。
![](https://pics6.baidu.com/feed/cb8065380cd79123ae565908326ac38eb3b78087.png@f_auto?token=c454373dd7da8dd96d9d64a840ff7037)
![](https://pics4.baidu.com/feed/9a504fc2d56285354c5b42b60fb1eccaa6ef635d.jpeg@f_auto?token=95644e5a6c1f2749534f4a2da052dc67)
二、数据治理与隐私保护的挑战
-
数据多样性:不同类型的数据涵盖了个人信息、商业机密、医疗记录等各种敏感信息。如何对不同类型的数据进行合理的管理和保护是一个挑战。
-
法律和法规:不同国家和地区的法律和法规对数据的使用和保护有不同要求,如何在全球范围内实现合规也是一个复杂问题。
-
数据共享与开放:在促进数据开放的同时,如何保护数据的隐私性和安全性,防止滥用和不当使用,需要平衡各方的利益。
![](https://pics1.baidu.com/feed/86d6277f9e2f0708bf7856cf777a2295a801f26f.jpeg@f_auto?token=90a50ad40163901ca135293cd2558e88)
三、平衡数据开放与隐私需求的方法
-
透明度与知情同意:数据使用方应当向数据提供方透明地解释数据的使用目的和方式,并获得明确的知情同意。这种透明度可以建立信任,减少隐私担忧。
-
匿名化与脱敏:对于共享数据,可以采取匿名化和脱敏的方式,保护个人隐私信息。这样可以实现数据开放的同时,降低隐私风险。
-
数据所有权与控制权:个人和组织应当有权对自己的数据行使控制权,包括选择数据的使用方式、共享对象和权限等。数据所有权和控制权的强化有助于保护个人隐私。
-
强化监管与合规:政府和监管机构应当加强对数据治理和隐私保护的监管,制定相关法规和标准,推动数据开放的合规性。
![](https://pics3.baidu.com/feed/2e2eb9389b504fc273bc207845837d1d91ef6d53.jpeg@f_auto?token=20c22066694f14685331fb4a884bd2e2)
![](https://pics2.baidu.com/feed/eac4b74543a98226f2cb97da15dc230d4b90ebb4.jpeg@f_auto?token=b62b766fe88bbb6182affd22215a0c96)
结论:
数据治理与隐私保护是数字化时代不可或缺的重要议题。在实现数据开放的同时,保护个人和组织的隐私权益至关重要。通过透明的数据使用方式、匿名化的数据共享方法、强的数据所有权和控制权,以及合规的监管机制,可以在平衡数据开放与隐私需求之间找到合理的平衡点。只有在数据治理和隐私保护得到有效平衡的基础上,我们才能够充分利用数据的价值,推动社会和经济的可持续发展。
![](https://pics5.baidu.com/feed/a8ec8a13632762d0fcfb724d04b292f6533dc6e2.jpeg@f_auto?token=6eb9cee6cfd2a764c19d324e858b125e)
数据治理是企业数据建设必不可少的一个环节。
好的数据治理体系可以盘活整条数据链路,最大化保障企业数据的采集
、存储
、计算
和使用
过程的可控和可追溯。
如何构建企业数据治理体系?企业数据治理过程需要注意哪些问题?总体而言,不能一口一个胖子,路要一步一步地走。
下面我将结合企业级数据治理
经验,详细介绍从0到1
搭建数据治理体系全流程,帮你梳理数据治理的主要内容以及过程中会遇到的哪些坑。
![](https://ask.qcloudimg.com/http-save/yehe-2039230/a00a43b3bd1d2e221924ff703ea0eb35.png)
1 数据治理到底是在做什么
1.1 一个小故事
在正文之前,我先介绍一个小故事。
年底了,企业财务管理员小张需要统计公司的金融财务情况。忙碌了一年,公司老板亟需知道公司目前的运营状况。
小张需要考虑哪几个点呢:
“
- 公司目前有哪些财产?
- 这些财产从哪里来?用到了哪些地方?
- 是否所有财产的使用均符合规范和制度?
”
幸好小张年初已经制定了一套管理标准。每笔财产的出入都有记录且严格把控使用情况,过程可追溯可审查。
最后,小张得到了领导们的一致好评。
1.2 数据治理做的事情
故事中的小张监管着公司所有金融财产活动,确保财产使用的有序高效。这也是数据治理角色的类似功能。
“数据治理的核心工作: 在企业的数据建设进程中,保障企业的数据资产得到正确有效地管理。 ”
一般来说,数据从外部或者内部产生后,经过大数据手段处理,流转到不同的业务端,为企业的上层应用提供数据赋能。
![](https://ask.qcloudimg.com/http-save/yehe-2039230/d91aca8235e6605a97a2975bdddaabb0.png)
整个过程,如图所示。
- 我们先做一些类似数据同步的工作将数据放入到大数据系统中
- 数据进来后需要管理和存储,即参考建模理论和实际场景建设数仓
- 经过主题规划、维度确定、标签计算输出等步骤处理
- 数据输出到报表、应用端使用
整体流程数据治理体系将全程监管。要确认进出系统的数据质量
怎么样?是否可转化数据资产
?数据血缘
是否可追溯、数据安全
等问题。
“脏乱差的数据是无法使用的,甚至严重埋雷。 ”
2 为什么要做数据治理
有一些企业对这个问题的概念很模糊,认为目前的数据规模很小,人为可控,暂时不需要做数据治理。
但是在实际使用中还是会遇到很多问题:
- 数据监管力度不够,出现脏数据
- 数据体系逐渐规模变大,管理混乱
- 数据的血缘丢失,无法回溯旧、老的数据
无论企业的数据规模如何,我认为还是提起做好数据治理的规划。考虑到成本的问题,可以分阶段进行。
“为什么要进行数据治理:
- 你的数据是否真的可用,缺失和异常值怎么办?
- 数据从哪里来到哪里去,血缘信息是否丢失
- 数据访问是否安全,明文标识还是加密?
- 新的数据加工参考什么规范,维度和标签管理是否存在标准?
”
有剑在手不用和无剑可用是两回事
。提前做好数据治理规划,会节省后续的改造成本,避免过程冗余重构或者推倒重来等情况的发生。
![](https://ask.qcloudimg.com/http-save/yehe-2039230/bf5c499f599e4e375e6ab36e6d616899.png)
数据治理可以有效保障数据建设过程在一个合理高效的监管体系下进行,最终提供高质量
、安全
、流程可追溯
的业务数据。
3 数据治理体系
企业数据治理体系包括数据质量管理
、元数据管理
、主数据管理
、数据资产管理
、数据安全
及数据标准
等内容。
-----
![](https://ask.qcloudimg.com/http-save/yehe-2039230/1ef3047b389063bd2e6f12d230e866c1.png)
1)数据质量
一般采用业内常用的标准来衡量数据质量的好坏:完整性
、准确性
、一致性
和及时性
。
- 完整性:数据的记录和信息是否完整,是否存在缺失情况
- 准确性:数据汇总记录的信息和数据是否准确,是否存在异常或者错误
- 一致性:多个业务数仓间的公共数据,必须在各个数据仓库中保持一致
- 及时性:数据能及时产出和预警
![](https://ask.qcloudimg.com/http-save/yehe-2039230/4f0367b2d08c3bdc88905c6ac9f34917.png)
2)元数据管理
元数据是关于数据的组织、数据域及其关系的信息,通俗理解,元数据就是描述数据的数据。
![](https://ask.qcloudimg.com/http-save/yehe-2039230/45404e4b9bff97fda9f13d8c46817901.png)
元数据包含技术元数据
和业务元数据
。可以帮助数据分析人员清楚了解企业拥有什么数据,它们存储在哪里,如何抽取、清理、维护z这类数据,也即数据血缘。
- 帮助构建业务知识体系,确立数据业务含义可解释性
- 提升数据整合和溯源能力,血缘关系可维护
- 建立数据质量稽核体系,分类管理监控
3)主数据管理
企业主数据指企业内一致并共享的业务主体,大白话理解就是各专业公司和业务系统间共享的数据。
常见的主数据比如公司的员工
、客户数据
、机构信息
、供应商信息
等。这些数据具有权威性和全局性,可归约至公司的企业资产。
一般主数据管理需要遵循如下几点:
- 管理和监管各组织机构、子公司、部门对主数据的访问,制定访问规范和管理原则
- 定期进行主数据评估,判断既定目标的完善程度
- 组织相关人员和机构,统一完善主数据建设
- 提供技术和业务流程支持,全集团集中统筹
4)数据资产管理
一般企业在数字化转型时都会考虑数据资产梳理。你的数据有没有被合理利用?如何产生最大价值?这是数据资产管理关心的核心工作。在构建企业资产时一般会考虑不同角度,即业务角度和技术角度,最后进行合并,输出统一的数据资产分析
,并向外提供统一的数据资产查询服务。
![](https://ask.qcloudimg.com/http-save/yehe-2039230/ead7726aa7e1a310603aa1822f7397eb.png)
如何盘活数据,形成数据资产,提供完整的数据资产全景视图,可方便运营者全局、宏观地掌控企业资产动态。
5)数据安全
数据安全是企业数据建设必不可少的一环,我们的数据都存储在大大小小的磁盘中,对外提供不同程度的查询和计算服务。
需要定时对数据进行核查
、敏感字段加密
、访问权限
控制,确保数据能够被安全地使用。
6)数据标准
大白话理解,我们需要在组织内定义一套关于数据的规范,好让我们都能理解这些数据的含义。
今天张三说这个客户号是办理银行卡的客户,明天李四又说是借贷过的客户。对比一看,两者的字段类型和长度一致,到底要采纳哪个意见呢?
数据标准是保障数据的内外部使用和交换的一致性和准确性的规范性约束,通过统一规范
,消除二义性
。
4 企业数据治理实施过程
4.1 数据治理实施框架
数据治理体系是为了规范业务数据规范、数据标准、数据质量和数据安全中的各类管理任务活动而建立的组织、流程与工具。
通过一个常态化的数据治理组织,建立数据集中管理
长效机制,规范数据管控流程,提升数据质量,促进数据标准一致,保障数据共享与使用安全,从而提高企业运营效率和管理水平。
![](https://ask.qcloudimg.com/http-save/yehe-2039230/f51f5b3dbb98d3fec9b7f8f5a834b1c2.png)
4.2 数据治理组织架构
企业数据治理体系除了在技术方面的实施架构
,还需要管理方面的组织架构
支撑。
一般在数据治理建设初期,集团会先成立数据治理管理委员会。从上至下由决策层
、管理层
、执行层
构成。决策层决策、管理层制定方案、执行层实施。层级管理、统一协调。
4.2.1 组织架构
1)决策层
提供数据标准管理的决策职能,通俗理解即拍板定方案。
2)管理层
- 审议数据标准管理相关制度
- 对跨部门难的数据标准管理争议事项进行讨论并决策
- 管理重大数据标准事项,提交信息科技管理委员会审议
3)执行层
- 业务部门:负责业务线数据标准的制定、修改、复审,推广落实数据标准等
- 科技开发:承担治理平台、数据标准、数据质量等实施工作;系统设计和开发工作中遵循数据标准
- 科技运营:负责技术标准的制定和技术推广
-----
![](https://ask.qcloudimg.com/http-save/yehe-2039230/0bb2d291c89c781ec486b3dcb28546c7.png)
4.2.2 管理层职责
1)项目经理
- 确定项目目标、范围和计划
- 制定项目里程碑
- 管理跨项目协同
2)专家评审组
评审项目方案,确定方案的合理性
3)PMO
- 确保项目按计划执行
- 管理项目重大风险
- 执行跨项目协同、沟通
- 组织项目关键评审
3)数据治理专项组
执行各项目的落地实施和运营推广,推动执行层的实施数据治理技术落地和项目进展。
![](https://ask.qcloudimg.com/http-save/yehe-2039230/00544dfe4e2e71bba8b8b278e0a2f6e1.png)
4.2.3 执行层职责
数据架构师、数据治理专家和业务专员形成数据治理"铁三角",紧密协作,推进数据治理与数据架构落地。
![](https://ask.qcloudimg.com/http-save/yehe-2039230/3dcd779e7a665b9450d9bbf1dac8b81a.png)
1)业务专员
业务专员作为业务部门数据治理的接口人,在标准
、质量
、应用
等领域组织业务人员开展工作
- 定义数据规则
- 保障数据质量
- 提出数据需求
2)数据治理专家
数据治理专家作为数据治理组成员,负责设计数据架构,运营数据资产;牵头组织业务、IT达成数据治理目标。
- 构建数据逻辑模型
- 监控数据质量
- 运营数据资产
3)数据架构师
数据架构师作为IT开发部门的专家,承担数据标准落地、模型落地的重任,协助解决数据质量问题。
- 数据标准落地
- 逻辑模型落地
- 物理模型落地
4.3 数据治理平台
在确定了技术实施方案和组织管理架构,下面需要进行数据治理体系的落地实施。
在大型企业中一般会开发一个完整的数据治理平台
,囊括所有数据治理功能,对外提供平台服务。
1)核心功能
数据治理平台作为数据治理的产品体系,旨在保障数据平台的数据是安全、可靠的、标准的、有价值的。
-----
![](https://ask.qcloudimg.com/http-save/yehe-2039230/0f164a8d339078e33f4b49945a507975.png)
数据资产管理
:提供面向用户的场景化搜素,提供全景数据资产地图,方便快速查找资产和资产分析数据标准管理
:统一定制数据标准,提高包括字段、码值、数据字典管理,保障业务数据和中台数据的统一标准数据质量监控
:提供事前、事中、事后的数据质量体系,支持数据质量监控规则配置、告警管理等功能数据安全
:提供数据安全脱敏、安全分级和监控数据建模中心
:统一建模,提供业务系统建模和模型管理
2)元数据管理
元数据管理系统作为数据治理平台的前端展示门户,帮助实现对数据资产的快速检索
能力,提高数据使用有效性和效率。
通过建立完整且一致的元数据管理策略,提供集中、统一、规范的元数据信息访问、查询和调用功能。
![](https://ask.qcloudimg.com/http-save/yehe-2039230/b21ac2667931b467567f9b85c155a596.png)
3)数据质量
- 数据质量监控:支持所有用户进行数据质量监控规则配置
- 规则阻断:配置数据质量监控阻断规则,数据质量出现差异可实时阻断下游作业运行,屏蔽错误结果链路扩散。
- 告警:数据质量出现预设偏差,及时发出预警通知及时修复
-----
![](https://ask.qcloudimg.com/http-save/yehe-2039230/4d9f95e2c87fca3a6b1f1fffdc335888.png)
4)数据标准
支持定制统一的数据标准平台,包括字段标准管理,码值标准管理以及字典管理,业务源数据和中台数据统一标准。
![](https://ask.qcloudimg.com/http-save/yehe-2039230/ecdc531d2cd4b9242871a4f1b1eb13b2.png)
5)数据安全
基于集团数据资产实现数据安全分级管理,自动识别安全信息;提供数据访问安全行为监测,及时识别访问风险。
![](https://ask.qcloudimg.com/http-save/yehe-2039230/a0ecb7293d3932167e5089c6b96797cd.png)
4.4 数据治理评估
数据治理平台开发完成并运行,需要对整体数据治理体系的效果进行验证和评估。
“1)数据是否可以消除"脏、乱、差"的现象 2)数据资产是否最大价值化 3)所有数据的血缘是否完整可追溯。。。 ”
1)数据资产
通过构建数据资产管理体系,实现资产全覆盖,并支持全局搜索和精准定位目标资产。
- 实现全局搜索,面向用户提供场景化检索服务
- 支持标签、数据地图、表名和字段名等多种检索维度
- 支持进行数据地图,源业务数据字典的结果筛选
- 比如支持PV/UV用户搜索和资产展示,明确服务目标
![](https://ask.qcloudimg.com/http-save/yehe-2039230/02ea0414f7a9f29b8b444b65c74cf553.png)
2)数据标准
新旧数据标准沉淀,打通了数据建模工具、数据标准库和词根标准库,落地数据标准和词根。
- 实现数据标准库100%拉通
- 智能识别数据标准和引用
- 客户端同步更新数据标准、词根
![](https://ask.qcloudimg.com/http-save/yehe-2039230/d847e6058eccf5b49f5400abb1e16cc2.png)
3)数据安全
保持事前制度建设
、事中技术管控
、事后监控审计
的原则建立全流程数据安全管控体系。
基于以上数据安全管控体系,支持数据安全定级,构建灵活的数据安全共享流程。
![](https://ask.qcloudimg.com/http-save/yehe-2039230/1c0f220228744dae8b152ec1f86990a1.png)
4)数据质量
通过数据质量雷达图,定期进行数据和任务质量打分,综合考察数据质量效果。
- 数据完整性:查看数据项信息是否全面、完整无缺失
- 告警响应程度:日常管理、应急响应、降低影响;避免数据损毁和丢失
- 监控覆盖程度:确保数据遵循统一的数据标准和规范要求
- 作业稳定性:监控作业稳定性,是否存在作业异常等问题
- 作业时效性:检查任务对应的数据项信息获取是否满足预期要求
![](https://ask.qcloudimg.com/http-save/yehe-2039230/b747025cc765222d6dbab621086108b1.png)
5 数据治理的几点误区
1)数据治理是否要做得大而全
“这是一个经典问题,一般对于不同阶段和规模的企业,数据治理的实施程度会有所不同。一般建议先根据自身的数据状况分阶段进行,避免盲目铺开规模,过程中可调整。 ”
2)数据治理只是技术考虑的事情
“正如文中所说,数据治理不仅仅是技术团队的事情,而是整个集团一起协作完成。其中就包括各业务线以及其他管理组织,没有一个好的实施方案和协作机制,往往事倍功半。 ”
3)数据治理可以短期见效
“数据治理是个长期过程,会跟随着企业数据的规模和数仓规划的变更同步调整,部分功能可能会在短期内卓有成效,完整体系搭建短期很难实现。 ”
4)必须得有工具平台,才能开展数据治理
“俗话说工欲善其事必先利其器,有好的工具当然是更好,前提是已经有了成熟的数据治理体系规划和策略。工具和技术手段目前市面上很成熟,先把理论给铺垫好。 ”
5)数据治理感觉很模糊?不知道最后的落地结果
“数据治理是一个长期工作,需要相关从业者根据企业的数据现状和管理模式去构建和调整,建议边做实践边总结归纳,小步慢跑是一个很好的方式。
--------
“数据治理”这个10多年前就已经出现的名称,在最近这几年时间一下子火了起来。不知何时,江湖中流传出了:“数字化转型、治理先行”的说法。
于是乎,我们看到:不仅是传统提供数据仓库、BI、主数据管理、元数据管理、数据集成等数据服务的软件供应商在说数据治理,阿里腾讯等互联网公司,大型国企也都在谈数据治理,很多企业都将数据治理作为数字化战略的一项必要举措,列入了企业的战略行动计划。
在众多谈论数据治理的企业或个人中,笔者发现大家对数据治理有着一个普遍的共识,那就是:“数据治理说起来容易,做起来难”!
一、为什么要做数据治理,真的想透了吗?
在做数据治理咨询的过程中,经常会遇到以下对话场景:
请问你们为什么要做数据治理?
常见回答:我们要建立数据标准,提升数据质量,实现数据资产统一管理。
接着问:为什么要建立数据标准、提升数据质量,不做会怎样?
常见回答:数据质量问题比较多,无法提供准确的数据报表,影响业务效率,无法支撑企业的数字化转型。
再次问:都影响到了哪些数据报表、哪些业务?
常见回答:XX报表不准确、统计口径不一致、系统之间数据孤岛,数据集成困难……吧啦吧啦……
接着追问:为什么会造成数据报表不准确,口径不一致,系统集成难?
常见回答:因为数据标准一致,数据源的数据质量差。
我们仔细分析这样的调研结果是浮于表面的,围绕数据的问题在原地打转,没有将为什么要做数据治理真正想透。
因此数据治理的第一步不是分析数据问题,而是分析业务问题,找到企业的核心业务诉求,定义数据治理的目标和范围。
二、数据治理不是什么高大上的东西,基本是脏活、累活!
数据治理很火,在DAMA 数据管理知识体系指南中,数据治理位于数据管理“车轮图”的正中间,是数据架构、数据建模、数据存储、数据安全、数据质量、元数据管理、主数据管理等10大数据管理领域的总纲,为各项数据管理活动提供总体指导策略。
谈到数据治理,我们经常讲它是一个涉及到企业战略、组织架构、数据标准、管理规范、数据文化、技术工具的一个综合体。没有数据治理实践经验的,一定会认为:哇,数据治理好“高大上”呀!又是战略、又是标准、又是文化的,听起来很高深吗!
然而,只有你真正做过数据治理人才知道:数据治理不仅都是苦活、累活,还是个受累不讨好,经常背锅,领导看不见价值的活。
数据治理过程中,有时候是不被理解的。数据治理是个地基性工程,人们看到的永远是数据应用的“高楼大厦”,数据治理团队天天忙忙碌碌的,领导也不知道“这伙人”到底都在干啥?但是,只要数据出现问题,第一个被问责的就是数据治理团队。
三、做了数据治理,为什么数据质量依然很差,咋办?
我们公司两年前就做了数据治理,建立了数据治理平台,元数据管理、数据质量管理等功能都有了,但是我们的数据质量问题还是很多,导致建设的BI系统基本都没人用,请问有什么好的方式解决?
这个问题,我没有答复。原因是数据质量差、BI用不起来,这个问题虽然常见,但是10家有相同问题的企业中,有9家的原因是不一样的。在没有经过详细调查,不了解具体背景的情况下,不敢贸然给出建议。
做过了数据治理,企业的数据质量就一定能提升吗?其原意是要问:上过了数据治理系统或实施了数据治理项目,为什么还会有数据质量问题。
这个问题很复杂。正如上文中的项目型数据治理,点到为止,治标不治本。
有的企业认为数据治理就是上一套强大的数据治理平台,只要平台功能强大,就能管好数据,这恰恰是陷入了另一个误区——唯工具论,岂不知数据治理的本质是管理数据,而不是管理程序、脚本和任务。
另外,还有很多企业是出现了数据问题,并且对业务造成很大影响之后才去进行治理的——被动式治理,失去了治理数据的主动权,常常是解决了一个问题又引出了更多的问题。
四、数据治理之道是什么,要怎么做?
数据治理需要体系建设:为发挥数据价值需要满足三个要素:合理的平台架构、完善的治理服务、体系化的运营手段。