数据治理调研、企业数据治理方案、数据治理的范围
一、背景
大数据时代数据产生的价值越来越大，基于数据的相关技术、应用形式也在快速发展，开发基于数据的新型应用已经成为企业信息化建设的一个重点领域。当前各大厂商、用户都在探索与数据相关的开发技术、应用场景和商业模式，最终目的就是挖掘数据价值，推动业务发展，实现盈利。目前数据应用项目非常多，但真正取得预期效果的项目少之又少，而且开发过程困难重重，其中的一个重要原因就是数据质量问题导致许多预期需求无法实现。如果没有数据治理，再多的业务和技术投入都是徒劳的，因为很经典的一句话：Garbage in Garbage out。数据治理是保证数据质量的必需手段，从全球范围来看，加强数据治理提升数据质量已成为企业提升管理能力的重要任务。
随着一系列与数据相关的法律法规和标准陆续发布，我国的数据基础制度体系建设不断完善。国家陆续出台的《网络安全法》、《数据安全法》及《个人信息保护法》等基法律对数据进行监管和保护。数据治理涵盖了从前端业务系统、后端业务数据库再到业务终端的数据分析，从源头到终端再回到源头，形成的一个闭环负反馈系统。从目的来讲，数据治理就是要对数据的获取、处理和使用进行监督管理。
总体来看,数据治理的侧重点主要体现在数据治理的范围、治理主体的职责、数据治的理目标、数据治理的过程及其规范。在当前已有的定义中,以DAMA(国际数据管理协会)、DGI(国际数据治理研究所)、IBM数据治理委员会三家机构提出的最具权威性,因而被广泛应用。
二、企业的数据治理
数据治理是一个对企业数字化转型至关重要的一个环节，关乎着企业核心数据是否能被规范化管理、数据的价值是否能被充分发挥等等。企业数据的一致性、准确性和可信度能给企业实现降本增效、业务精细化运营、重要决策制定、产品优化迭代等多方面的收益。当前，数据已成为一种重要的资产，是组织进行管理、生产和行动的重要职称。
数据治理是一个系统的、大型的、长期的工程，大型企业已经开始了实施，并取得了一定成果，但目前普通企业在数据治理方面还没有开始真正意义上的实践，究其原因，大部分企业还没有把数据治理的重要性提升到战略高度，数据治理是一项非常抽象且庞大的内容，单靠一个人或者单个团队很难达成理想化的效果，所以在数据治理的过程中需要根据企业的体量、业务的复杂度等角度对数据治理的组织架构进行专业的划分。数据治理对于组织来说，就是一次权力的再分配。这其实意味着：（1）数据治理从来都是一把手工程；（2）数据治理直接负责人，一定要合理的协调能力，协调各方，并最终建立数据治理规则。
什么是数据治理：
数据治理的目的：
- 确保数据的准确性和一致性，以保证业务决策的正确性。
- 保护数据的安全性和隐私性，以避免数据泄露和滥用。
- 优化数据的利用和共享，以提高业务效率和创新能力。
数据治理痛点：这些痛点可能来源于业务、技术、运维、产品等不同的和数据相关的成员，具体的痛点大致可以分为以下几类及对应的解决方法。
数据治理的实现路径：在标准规范和安全、质量的两个管理基本规则的限制之下，由基础的硬件设施、搭建数据治理平台，再到建立良好的数据治理规则和核心体系。
数据治理持续迭代流程： 发现数据质量问题 > 定义数据质量规则 > 质量控制 > 质量评估 > 质量优化
数据管控示意图：数据管控会根据企业实际情况，进行数据质量管控、元数据管控等某些方面的管控，偏向技术和执行层面。既管理，又控制，就像理论和实践的结合。
三、数据治理的范围
数据治理项目的范围通常都会包含：组织建设、数据安全、数据开发、数据质量、元数据管理、数据价值等几个模块。
元数据管理
元数据从数据的角度可以分为三类：业务元数据、技术元数据和管理元数据。
业务元数据是从业务的视角去描述数据：表名称、表的血缘关系、表的字段说明、指标的统计口径等多种业务描述；
技术元数据从技术的角度去描述数据：表的sql、字段长度、字段类型、有效值、默认值等多种技术描述；
管理元数据是包含数据管理的信息在里面，例如：表的业务属主、表的技术负责人、表的读权限等
元数据不仅仅表示数据的类型、名称、值等信息，它可以理解为是一组用来描述数据的信息组/数据组，该信息组/数据组中的一切数据、信息，都描述/反映了某个数据的某方面特征，则该信息组/数据组可称为一个元数据。
主数据
指满足跨部门业务协同需要的、反映核心业务实体状态属性的组织机构的基础信息。主数据相对于交易数据而言，属性更加稳定，准确度要求更高，唯一识别.
数据质量
数据质量是指在业务环境下，数据符合数据消费者的使用目的，数据质量需要满足业务场景具体的需求。数据质量包含两个方面：数据自身的质量和数据的过程质量。
数据自身的质量很好理解，比如数据必须真实准确地反映实际发生的业务，任何业务操作的数据都没有被遗漏，数据存在各种约束条件，这种约束条件不能自相矛盾等等。
数据标准
数据标准是指企业为保障数据的内外部使用和交换的一致性和准确性而制定的规范性约束。而数据标准管理则是一套由管理制度、管控流程、技术工具共同组成的体系，是通过这套体系的推广，应用统一的数据定义、数据分类、记录格式和转换、编码等实现数据的标准化。
数据标准管理的目标是通过统一的数据标准制定和发布，结合制度约束、系统控制等手段，实现数据的完整性、有效性、一致性、规范性、开放性和共享性管理，为数据资产管理提供经管理依据。
数据交换
出于各种原因，组织会选择数据交换与共享。例如，内部与内部的数据交换共享，企业与企业之间的数据交换共享，以及政府或企业对个人或服务提供商的数据交换与共享。数据交换共享就是让不同地方使用不同计算机、不同软件的用户能够读取他人数据并进行各种操作运算和分析。用于实现不同机构不同系统之间进行数据或者文件的传输和共享，提高信息资源的利用率，保证了分布在异构系统之间的信息的互联互通，完成数据的收集、集中、处理、分发、加载、传输，构造统一的数据及文件的传输交换。
组织建设
需要打破企业内部壁垒，构建多部门共同参与的数据治理组织，提升数据治理重要性。成立数据治理专项团队，包括数据治理委员会、数据治理团队、各业务部门等层层递进的组织架构。在绩效、团队、资源等方面支持数据治理的持续运营，达成企业数据中台的数据战略体系转型。
数据资产
数据资产是指由企业拥有或者控制的，汇集企业所有能够产生价值的数据资源，为用户提供资产视图，快速了解企业资产，发现不良资产，为管理员提供决策依据，提升数据资产的价值。能够为企业带来未来经济利益的，以物理或电子的方式记录的数据资源，如文件资料、电子数据等。但在企业中，并非所有的数据都构成数据资产，数据资产是能够为企业产生价值的数据资源。
数据安全
提供数据加密、脱敏、模糊化处理、账号监控等各种数据安全策略，确保数据在使用过程中有恰当的认证、授权、访问和审计等措施
从互联网收集整理
