随笔分类 -  数据治理

摘要: 阅读全文
posted @ 2024-06-09 00:04 十一vs十一 阅读(10) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2024-06-08 00:20 十一vs十一 阅读(13) 评论(0) 推荐(0) 编辑
摘要:支持重跑 建临时表的方式 阅读全文
posted @ 2024-06-07 13:18 十一vs十一 阅读(16) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2024-06-05 00:43 十一vs十一 阅读(8) 评论(0) 推荐(0) 编辑
摘要:责任清单 数据接入后做数据标准和清洗 数据格式错误,记录数为空,数据重复,数据不准确,字段命名不统一 数据标准主要是:元数据,分类与编码, 数据标准化 下一步:数据质量 主要是为了检查是否按照数据标准去做的 稽核报告 空值,准确性,格式,唯一性,一致性. 基础信息用主题建模.例如各种详细信息表. 统 阅读全文
posted @ 2024-06-04 23:33 十一vs十一 阅读(15) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2024-06-04 23:30 十一vs十一 阅读(4) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2024-06-04 21:45 十一vs十一 阅读(8) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2024-06-04 17:14 十一vs十一 阅读(5) 评论(0) 推荐(0) 编辑
摘要:人工主要维护的是业务元数据,维护权限,分层,安全等级 元数据发布必须经过下游系统确认影响程度,然后进行审批才可以发布 第二步由数据处理程序发送血缘信息, 例如在注解部分增加血缘描述 阅读全文
posted @ 2024-06-04 10:58 十一vs十一 阅读(7) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2024-06-04 10:56 十一vs十一 阅读(20) 评论(0) 推荐(0) 编辑
摘要:数据元 怎么把pdf文件中的数据元转化成建字段 匹配不上的去词根文档里去匹配 将编码规则信息化 阅读全文
posted @ 2024-06-04 00:35 十一vs十一 阅读(16) 评论(0) 推荐(0) 编辑
摘要:src到ods层数据字段对应关系 实际用的表案例 src层到ods按照数据标准建表工具 日期无穷大为开链状态,日期为某个特定日期为关链状态 阅读全文
posted @ 2024-06-04 00:00 十一vs十一 阅读(11) 评论(0) 推荐(0) 编辑
摘要:表变化频率比较低的表 覆盖 项目中一般是这种场景 数据接入工具 阅读全文
posted @ 2024-06-03 21:57 十一vs十一 阅读(9) 评论(0) 推荐(0) 编辑
摘要:不直接开发hive的API访问速度慢,开放内存Presto的API去hive库查这样快 第一种不安全, 第二种公司内部用比较安全,结构文件落到对方ftp服务器 第三种一般跨网络同步 数据同步任务创建和执行监控 证券案例 阅读全文
posted @ 2024-06-03 21:29 十一vs十一 阅读(7) 评论(0) 推荐(0) 编辑
摘要:第二步比较重要:对现有的数据做抽象,做主题分类 最后一步分析字段比较麻烦,因为有时候数据库字段并没有注释,需要从前台系统插入数据一步步了解 流程图viso自己画,业务系统调研-系统业务人员填写 业务系统调研模板 不需要录入系统的表 调研表的模板 调研字段模板 政府案例 政府三清单模板 政府部门共享交 阅读全文
posted @ 2024-06-03 21:12 十一vs十一 阅读(34) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示