随笔分类 - 【吗喽的搬砖日常】 / 数据治理
摘要:题记部分 一、数据管理 数据管理是指组织对其整个数据生命周期进行的规划、执行和控制,以期最大化数据的价值。它涵盖了从数据采集、存储、处理到最终使用等全部过程。 良好的数据管理需要进行全面的战略规划,包括确定组织的数据需求、数据架构的设计、明确数据收集方式、建立数据安全与监控措施等。同时还需要具体的执
阅读全文
摘要:题记部分 一、如何保证数据质量问题 在数据处理的每一个环节,根据业务要求,提前设置好告警规则。 比如, (1)设置日增数据量的阈值以及对于计算结果、某些关键指标的阈值; (2)从数据源获取到数据之后的第一步,就可以根据这个制定的规则,先看数据量是否在阈值范围内,比如正常的情况下,应该是1万条数据。阈
阅读全文