摘要:
一、简介 数据安全管理是计划、制定、执行相关安全策略和规程,确保数据和信息资产在使用过程中有恰当的认证、授权、访问和审计等措施。 有效的数据安全策略和规程要确保合适的人以正确的方式使用和更新数据,并限制所有不适当的访问和更新数据。 理解并符合所有利益相关者的隐私及保密利益需求,是任何组织的最佳利益所 阅读全文
摘要:
一、简介 在任何组织中,不同的群体、流程和系统需要相同的信息。早期流程中所创建的数据可为稍后流程所创建的数据提供关联环境。然而,不同的群体会基于不同的目的来使用相同的数据。例如,销售﹑财务和制造部门都关心产品销售数据,但每个部门会有不同的数据质量期望。为满足这些特定的需求,组织会建立特定的应用,每一 阅读全文
摘要:
一、简介 数据仓库(Data Warehouse,DW)由两个主要部分构成:首先是一个整合的决策支持数据库,其次是用于收集、清洗、转换、存储来自于各种操作型数据源和外部数据源数据的相关软件程序。两者结合以支持历史的、分析的和商务智能(Business Intelligence,BI)的需求。一个数据 阅读全文
摘要:
一、简介 文档和内容管理是对存储在关系数据库以外的信息的采集、存储、访问以及使用的控制活动。文档和内容管理的侧重点在完整性和访问控制上。因此,它与关系数据库的数据操作管理大致相同。由于多数非结构化数据与存储在结构化文件中的数据和关系数据库有直接关系,管理决策需要在这3个领域保持一致。然而,文档和内容 阅读全文
摘要:
一、简介 数据质量管理是组织变革管理中一项关键的支撑流程。业务重点的变化、公司的业务整合战略,以及并购与合作,都对IT职能提出了更高要求,包括整合数据源,创建一致的数据副本、交互提供数据或整合数据。与遗留系统或B2B系统实现互操作的目标需要通过数据质量管理项目支持。 数据质量与信息质量是同义词,因为 阅读全文
摘要:
一、简介 元数据的定义是“关于数据的数据”,但是其确切含义是什么?元数据与数据的关系就像数据与自然界的关系。数据反映了真实世界的交易、事件、对象和关系,而元数据则反映了数据的交易、事件、对象和关系等。 元数据管理是关于元数据的创建、存储、整合与控制等一整套流程的集合,从而支持基于元数据的相关应用。 阅读全文
摘要:
在vim内复制多行假如复制的行带有#号会导致其他不带#号的行自动加# 解决办法,输入一下命令再粘贴即可 :set paste 阅读全文
摘要:
一、背景 使用Spark操作Iceberg(HiveCataLog的方式),使用Spline-Agent收集Spark作业的血缘。 二、编译 1、下载源码包:https://github.com/AbsaOSS/spline-spark-agent.git 2、经过测试,发现了一些Bug,影响到了S 阅读全文
摘要:
1、设置1天过期时间 cd /usr/local/kafka bin/kafka-configs.sh --zookeeper 192.168.xxx.xxx:2181,192.168.xxx.xxx:2181,192.168.xxx.xxx:2181 --alter --entity-name 主 阅读全文
摘要:
一、资料地址 1、Git地址:https://github.com/alibaba/DataX 2、DataX详细介绍:https://github.com/alibaba/DataX/blob/master/introduction.md/ 3、编译下载:https://github.com/al 阅读全文