数据安全实践指南要点记录-数据流动-数据安全治理

数据流动
数据治理与数据安全治理
技术诠释

数据流动

数据采集
- 系统日志采集，业界所采用到的技术工具包括Fluentd,Logstash,Flume,Scribe,Logagent,Logtail
- 数据库采集，采集的数据库常用的是MySQL,Oracle,Redis,MongoDB,目前针对大数据采集分析技术是基于Hive
- 网络数据采集，一般两种方式分别为网络爬虫和公共API的方式获取；这类数据采集过来的为非结构化数据和半结构化数据，然后对其进行清洗转换为结构化数据，统一存储到本地文件的数据。
  - 网络爬虫工具很多种上达百种以上，主要分为三类，具体如下：
    1.分布式网络爬虫工具：Nutch
    
    2.Java网络爬虫工具：Crawler4j,WebMagic,WebCollector
    
    3.非Java网络爬虫工具：Scrapy
- 传感器采集，传感器是一种检测装置，能用于感受被测量的信息，并且能够将检测系统感受到的信息按一定的规律变换成电信号或其他所需形式的信息输出，以满足信息的传输、处理、存储、显示、记录和控制等要求。
数据分析
- 数据分析是一类统计方法，主要特点就是具有多维性和描述性；数据分析是对数据表明的关系进行分析，或者说是对数据价值的直接获取，数据分析通常是借助数据采集直接从数据源中取出已有信息，并进行统计，可视化，得出文字结论的操作。
- 数据分析需要借助人工智能的相关技术算法来对快速的对数据进行筛查和分析操作
- 人工智能技术其中有一个分支是机器学习，严格来讲人工智能和机器学习并没有直接的关系，只是机器学习被大量应用于解决人工智能的问题而已。
- 机器学习的学习形式分为三大类分别为监督学习，无监督学习，半监督学习。
数据关联
- 数据关联是对数据内涵价值的获取，可以通俗地理解为对数据分析的深化。数据分析和数据关联并不是相互独立的，因为在大多数情况下这种分析往往浮于表层，需要更进一步地分析这些已有信息背后隐藏的价值信息，所以这些信息通过观察往往是看不到很大的价值，至此数据关联就应运而生了。
数据质量与数据价值
- 数据质量在国际数据管理协会中的《数据管理知识手册》中规定，数据质量(DQ)既指与数据有关的特征，也指用于衡量或改进数据质量的过程。
- 数据问题中数据质量的问题都有可能产生于从数据源头到数据存储介质的各个环节，在数据采集阶段，数据的真实性，准确性，完整性，时效性都会对数据质量产生影响。
  - 真实性：数据来源是否真实可靠
  - 准确性：数据信息是否准确，具有代表性
  - 完整性：数据信息是否存在缺失
  - 时效性：数据信息是否存在滞后
  - 除了上述之外，数据在后续的加工，存储过程都有可能涉及到对原始数据的修改，从而引发数据质量的问题
- 评估数据质量
  - 完整性：数据记录和信息是否完整，是否存在缺失
  - 一致性：数据记录是否符合规范，是否与前后及其他数据集保持统一
  - 准确性：数据中记录的信息和数据本身是否准确，是否存在异常或错误信息
  - 及时性：根据数据从产生到可以查看的时间间隔来确定数据信息是否滞后，这里的时间间隔也称为数据的延时时长

数据治理与数据安全治理

数据治理各种不同的概念
- 我国信息技术服务标准（ITSS）体系中的《信息技术服务治理第5部分：数据治理规范》中，将数据治理定义为数据资源及其应用过程中相关管控活动、绩效和风险管理的集合。
- 信息技术大数据术语》（GB/T 35295—2017）和《数据管理能力成熟度评估模型》（GB/T 36073—2018）中，将数据治理定义为对数据进行处置、格式化和规范化的过程，是数据和数据系统管理的基本要素，涉及数据全生命周期管理，包括静态、动态、未完成状态和交易状态。
- 中国银保监会发布的《银行业金融机构数据治理指引》明确指出，（行业内的）数据治理是指银行业金融机构通过建立组织架构，明确董事会、监事会、高级管理层及内设部门等各级组织职责要求，制定和实施系统化的制度、流程和方法，确保数据统一管理、高效运行，并在经营管理中充分发挥数据价值的动态过程。
- 国际标准化组织的IT服务管理与IT治理分技术委员会（ISO/IEC JTC1/SC40）给出的关于数据治理的概念主要建立在IT治理的基础上，将ISO/IEC 38500的IT治理框架和模型应用于数据治理，认为数据治理是IT治理的一个子集或子域，可通过持续的评价、指导和监督，平衡数据技术及其流程中的风险和收益，实现企业治理目标。换句话说就是，数据治理是数据在产生价值的过程中，治理主体对其进行评估、指导和监督的活动集合。
- 国际数据管理协会（DAMA）关于数据治理的概念主要建立在数据管理的基础上，他们认为数据治理是数据管理的核心，是对数据资产行使权力和控制的活动集合（包括计划、监控和执行），可用于指导所有其他数据管理功能的执行，从更高的层次执行数据管理。
- 国际数据治理研究所（DGI）认为，数据治理和数据管理是两个完全独立的概念，并将数据治理定义为对数据相关事项做出决策和行使职权的活动，具体定义为：一套信息相关过程的决策与问责体系，根据商定的模型执行，这些模型描述了谁可以根据什么信息在什么时间和情况下用什么方法采取什么样的行动。
- 国际知名IT咨询与研究机构Gartner认为，数据治理是一套决策权规范和问责框架，用于确保数据和分析在评估、创建、使用及控制过程中做出适当的行为。
数据安全治理
- Gartner-DSG
  - 数据安全治理的理念最早是由Gartner正式提出，Gartner认为，数据安全治理绝不仅仅是一套用工具组合而成的产品级解决方案，而是从决策层到技术层，从管理制度到工具支撑，自上而下贯穿整个组织架构的完整链条。组织内的各个层级之间需要对数据安全治理的目标和宗旨取得共识，从而确保采取合理、适当的措施，以最有效的方式保护信息资源，同时，数据安全治理还应具备以下流程
  - 步骤1：确保业务需求与安全（风险/威胁/合规性）之间的平衡。这里需要考虑如下5个维度的平衡：经营策略、治理、合规、IT策略和风险容忍度，这也是治理队伍开展工作前需要达成统一的5个关键要素。
  - 步骤2：划分数据优先级。对数据进行分级分类，以此对不同级别的数据采取合理的安全措施。
  - 步骤3：制定策略，降低安全风险。我们可以从如下两个方向考虑如何实施数据安全治理：一是明确数据的访问者（指应用用户或数据管理人员）、访问对象和访问行为；二是基于这些信息制定不同的、有针对性的数据安全策略。
  - 步骤4：使用安全工具。数据是流动的，数据结构和形态会在整个生命周期中不断变化，因此需要采用多种安全工具支撑安全策略的实施。Gartner在DSG体系中提出了实现安全和风险控制的5个工具：Crypto、DCAP、DLP、CASB和IAM，这5个工具分别对应于5个安全领域，其中可能包含多个具体的技术措施。
  - 步骤5：同步策略配置。同步策略配置主要针对DCAP的实施而言，集中管理数据安全策略是DCAP的核心功能，而无论使用访问控制、脱敏、加密、令牌化中的哪种措施，都必须注意应让数据访问和使用的安全策略保持同步下发，策略执行对象应包括关系型数据库、大数据类型、文档文件、云端数据等数据类型。
- 微软-DGPC
  - 针对数据安全治理，微软提出了专门强调隐私、保密和合规的数据安全治理框架（DGPC），希望企业和组织能够以统一的跨学科的方式来实现以下3个目标，而非组织内不同部门独立实现；数据安全治理框架与企业现有的IT管理和控制框架（如COBIT），以及ISO/IEC27001/27002和支付卡行业数据安全标准（PCI DSS）等协同工作。数据安全治理框架围绕3个核心能力领域进行组织，涵盖了人员、流程和技术这三大部分。
- 国内数据安全治理委员会
  - 国内数据安全治理委员会认为，数据安全治理是以“让数据使用更安全”为目的，通过组织构建、规范制定、技术支撑等要素共同完成的数据安全建设的方法论。其核心内容包括如下4点。满足数据安全保护（Protection）、合规性（Compliance）、敏感数据管理（Sensitive）这3个需求目标。核心理念包括分级分类（Classfiying）、角色授权（Privilege）、场景化安全（Scene）等。数据安全治理的建设步骤包括组织构建、资产梳理、策略制定、过程控制、行为稽核和持续改善等。核心实现框架包括数据安全人员组织（Person）、数据安全使用的策略和流程（Policy & Process）、数据安全技术支撑（Technology）这三大部分。
- 国家标准-数据安全能力成熟度模型(DSMM)
  - DSMM将数据按照其生命周期分阶段采用不同的能力评估等级，生命周期分为数据采集安全、数据传输安全、数据存储安全、数据处理安全、数据交换安全、数据销毁安全这6个阶段。DSMM从组织建设、制度流程、技术工具、人员能力这4个安全能力维度的建设进行综合考量，将数据安全成熟度划分成5个等级，依次为非正式执行级、计划跟踪级、充分定义级、量化控制级和持续优化级，形成一个三维立体模型，全方位地对数据安全进行能力建设。
  - 能力成熟度等级维度
  - 1级（非正式执行）
    - 主要特点：数据安全工作是随机、无序、被动执行的，主要依赖于个人，经验无法复制。组织在数据安全领域未执行相关的有效工作，仅在部分场景或项目的临时需求上执行，未形成成熟的机制来保障数据安全相关工作的持续开展。
  - 2级（计划跟踪）
    - 主要特点：在项目级别上主动实现了安全过程的计划并执行，但没有形成体系。
    - 规划执行：对数据安全过程进行规划，提前分配资源和责任。
    - 规范化执行：对数据安全过程进行控制，使用安全执行计划，执行相关标准和程序，对数据安全过程实施配置管理。
    - 验证执行：确认数据安全过程是按照预定的方式执行的。验证执行过程与可应用的计划是一致的，对数据安全过程进行审计。
    - 跟踪执行：控制数据安全项目的进展，通过可测量的计划跟踪执行过程，当过程实践与计划产生重大偏差时采取修正行动。
  - 3级（充分定义）
    - 主要特点：在组织级别实现安全过程的规范定义并执行。
    - 定义标准过程：组织对标准过程实现制度化，形成标准化过程文档，以满足特定用途对标准过程进行裁剪的需求。
    - 执行已定义的过程：充分定义的过程可重复执行，针对有缺陷的过程结果和安全实践进行核查，并使用相关结果数据。
    - 协调安全实践：通过对业务系统和组织进行协调，确定业务系统内各业务系统之间，以及组织外部活动的协调机制。
  - 4级（量化控制）
    - 主要特点：建立量化目标，使安全过程可量化度量和预测；为组织数据安全建立可测量的目标。
    - 客观地管理执行，通过确定过程能力的量化测量来管理安全过程，将量化测量作为对行动进行修正的基础。
  - 5级（持续优化）
    - 主要特点：根据组织的整体战略和目标，不断改进和优化数据安全过程。
    - 改进组织能力，对整个组织范围内的标准过程使用情况进行比较，寻找改进标准过程的机会，分析标准过程中可能存在的变更和修正。
    - 提升改进过程的有效性，制定处于连续受控改进状态下的标准过程，提出消除标准过程产生缺陷的原因和持续改进标准过程的措施。
  - 数据安全能力维度
  - 组织建设
    - 数据安全组织架构对组织业务的适应性。
    - 数据安全组织架构所承担工作职责的明确性。
    - 数据安全组织架构运作、协调和沟通的有效性。
  - 制度流程
    - 数据生命周期的关键控制节点授权审批流程的明确性。
    - 相关流程、制度的制定、发布、修订的规范性。
    - 安全要求及实际执行的一致性和有效性
  - 技术工具
    - 评估数据安全技术在数据全生命周期的使用情况，并考察相关技术针对数据安全风险的检测能力。
    - 评价技术工具在数据安全工作上自动化和持续支持能力的实现情况，并考察相关工具对数据安全制度流程的固化执行能力。
  - 人员能力
    - 数据安全人员所具备的安全技能是否满足复合型能力要求。
    - 数据安全人员的数据安全意识，以及关键数据安全岗位员工的数据安全能力培养。
  - 数据安全过程维度
    - 在数据安全过程维度上，DSMM模型将数据生命周期分为数据采集、数据传输、数据存储、数据处理、数据交换和数据销毁这6个阶段，里面涉及30个过程域（PA）