全面解析数据治理
全面解析数据治理
原文链接：
全面解析数据治理 (baidu.com)
https://zhuanlan.zhihu.com/p/640465934?utm_id=0
摘要
数据治理并不是一种简单的操作行为，而是对数据资产管理行使权力和控制的活动集合，是一种管理和保护数据的方法，是确保准确性、完整性、安全性、可靠性和一致性的关键。
通过数据治理，企业可以更好地掌握现有数据，理解数据价值和用途，梳理系统应用的业务逻辑，从而更好地管理和使用数据，降本增效的同时，也能够避免敏感数据的泄露。
本文将详细介绍数据治理的各个方面，包括数据源管理、元数据管理、数据质量管理、数据分类分级以及数据资产与服务，并结合实际应用场景进行丰富和优化。
一、数据源管理
数据源管理是数据治理的基础，它涉及到对企业内外部数据源的识别、整合、管理和维护。有效的数据源管理可以确保数据的准确性、完整性、可靠性、安全性和可用性，为后续的数据分析和决策提供可靠的基础。
二、元数据管理
元数据管理是数据治理中的一个重要环节，它涉及到采集、维护和分析数据的元数据信息，通过元数据管理可以更好地理解和管理数据，从而更好地支持企业的决策和业务需求。
2.1元数据采集
元数据是描述数据的数据，包括业务元数据和技术元数据。
业务元数据可以通过人工方式收集和管理。通过人工编写文档、表格等形式来记录业务元数据信息，然后将文档上传至元数据管理平台。
技术元数据可以通过自动化工具来扫描数据库、文件、API等数据源，自动提取元数据信息，包括数据的定义、结构、关系、来源等。采集时可以直接配置数据源，也可以通过探针扫描的方式，发现企业的暗数据，然后采集元数据，以便更全面地了解企业内部的数据状况。
2.2元数据维护
元数据维护指的是对元数据信息的维护和更新，其中关键的一环是业务元数据和技术元数据的匹配。通过将业务元数据与技术元数据匹配在一起，以便更好地理解和使用数据。匹配的方式可以是手动添加，也可以使用算法和规则进行自动化匹配。例如，可以使用相似性算法来比较元数据项的名称、注释和属性，以确定它们之间的相似性和匹配度。
2.3元数据分析
2.3.1数据血缘分析
数据血缘分为应用级、表级和字段级，用于追踪数据的来源和流转情况。应用级数据血缘主要查看应用之间数据的调用和流转情况，表级和字段级数据血缘主要查看数据的加工处理流程。
从数据处理的角度来看，数据血缘分析可以帮助数据开发人员了解数据的处理过程和对应的处理阶段，了解数据的来源和去向，明确每个节点的分类，查看每个输入输出节点数据发生的变化和变化频率，发现数据质量问题和潜在风险。大部分数据血缘分析都是从这个角度，展示数据图谱。
从数据流转的角度来看，数据血缘分析可以帮助业务人员了解系统访问了哪些数据库，查看系统对数据库进行了哪些调用，这些调用所属的业务含义，每个业务调用的数据情况，以及完整调用的执行顺序等信息。
三、数据质量管理
数据质量管理模块能够对数据库里的数据质量进行质量分析。分析的指标包括完整性、有效性、及时性、一致性、准确性、唯一性等多个维度。通过制定数据质量分析规则，评估数据的质量情况，最终生成数据质量报告。数据质量管理是循环管理过程，首先确定数据质量的指标，可根据业务需求和数据特点确定；接着指定数据，可以指定规则匹配目标检测数据；然后对目标数据进行分析，输出数据质量报告；根据质量报告有针对的清洗、处理数据，然后再次确定数据质量指标，进行下一轮数据质量检测。以循环管理的方式不断提升数据的可靠性，终极目标是提升数据在使用中的价值，为企业赢得经济效益，避免因不良数据导致企业的决策产生偏差。
四、数据分类分级
数据分类分级是对数据的敏感程度进行打分的过程，可以按照以下步骤实现数据的分类分级：
首先需要确定数据分类标准。企业应该根据系统的业务需求和数据特点，根据业务模块的不同，提取数据的种类，并为整个行业的数据划分敏感数据等级。
接着需要制定数据模板，为数据模板指定数据的种类和敏感等级，同时制定数据模板的数据筛选规则。
最后设置数据扫描任务，根据制定的数据模板，扫描数据源中的数据，匹配出目标数据。
数据分类分级是数据治理中关键的一环，旨在保护敏感数据不被滥用或泄露，帮助企业遵守相关法律法规和行业标准，提高数据管理效率。
五、数据资产与服务
数据资产化是将企业内部的数据资源进行采集、清洗、加工处理、整合后，整理成可用于决策支持、业务拓展和创新的有价值信息的过程。
在数据资产模块中，可以建立起数据目录，可以是技术元数据目录，也可以是业务元数据目录，方便用户快速查找数据资产。也需要建立数据共享和交换机制，也就是数据服务，可以通过API服务的方式，将数据资产提供给内部或外部用户。同时还要建立起权限管理和服务申请和审批机制，保护数据资产不被窃取或泄露。
总结
数据治理是一种管理和保护数据的方法，从数据源管理到数据资产与服务，包含了多种模块，涉及到跨部门的协作、策略制定、流程优化和技术实施，企业可以根据自身实际应用场景，进行丰富和优化。
