随笔分类 - 元数据管理
数据治理相关文章
摘要：一、简介 元数据的定义是“关于数据的数据”，但是其确切含义是什么？元数据与数据的关系就像数据与自然界的关系。数据反映了真实世界的交易、事件、对象和关系，而元数据则反映了数据的交易、事件、对象和关系等。 元数据管理是关于元数据的创建、存储、整合与控制等一整套流程的集合，从而支持基于元数据的相关应用。
阅读全文
摘要：一、背景 使用Spark操作Iceberg（HiveCataLog的方式），使用Spline-Agent收集Spark作业的血缘。 二、编译 1、下载源码包：https://github.com/AbsaOSS/spline-spark-agent.git 2、经过测试，发现了一些Bug，影响到了S
阅读全文
摘要：一、问题 想要删除Atlas元数据，Atlas组件默认是逻辑删除，但是我们想要进行物理删除 二、解决 1、修改配置文件 vim /opt/module/atlas/conf/atlas-application.properties 添加如下内容： #开启物理删除 atlas.DeleteHandle
阅读全文
摘要：一、代码下载地址 https://github.com/hortonworks-spark/spark-atlas-connector.git 下载完成后，上传至/opt/soft目录 二、编译准备 1、由于代码中的pom文件已经修改好，故无需再进行版本改动，直接编译即可 2、改动说明：本代码是直接
阅读全文
摘要：一、错误日志 2022-07-12 10:21:43,386 ERROR - [main:] ~ Exception thrown creating StoreManager. See the nested exception (Log4JLogger:125) Error creating tra
阅读全文
摘要：一、Hive元数据初次导入 Atlas提供了一个Hive元数据导入的脚本，直接执行该脚本，即可完成Hive元数据的初次全量导入 1、导入Hive元数据 cp /root/import-hive-cdh.sh /opt/module/atlas/hook-bin/ #执行以下命令 /opt/modul
阅读全文
摘要：一、编译Atlas 1、源码包下载地址 https://archive.apache.org/dist/atlas/ 2、将下载好的2.1.0源码包apache-atlas-2.1.0-sources.tar.gz上传至/opt/soft并解压 tar -zxvf apache-atlas-2.1.
阅读全文
