2021年4月12日

阿里云maxcompute系列--用pyodps+odps sql实现钉钉机器人预警推送
摘要： 场景 我们在使用maxcompute进行数据处理，我们会需要对上下游的数据质量作一些规则校验，用以来识别是否有脏数据影响了我们的数据质量。 而校验后，若是发现了脏数据，就需要第一时间通知到数据负责人，以便于数据质量负责人/数据运维角色的人员可以及时得知问题，让他们有充分的数据对数据进行处理，尽快修正 阅读全文
posted @ 2021-04-12 22:08 czlfly 阅读(630) 评论(0) 推荐(0) 编辑

2021年3月3日

数据仓库缓慢变化维（SCD）的思考（一）
摘要： 缓慢变化维（Slowly Changing Dimensions） 缓慢变化维是维度技术中用于描述维度变化情况的一种分类。 什么是SDC? 在现实的实施中 先说一下缓慢变化维的概念。缓慢变化维（Slowly Changing Dimensions）指的是：维度中的某一个或某几个属性不是固定不变，会随 阅读全文
posted @ 2021-03-03 22:24 czlfly 阅读(608) 评论(0) 推荐(0) 编辑

2021年2月28日

数据仓库DW架构设计思考
摘要： 数据仓库DW架构设计思考 阅读全文
posted @ 2021-02-28 23:26 czlfly 阅读(47) 评论(0) 推荐(0) 编辑

2019年9月2日

datax初体验
摘要： datax初体验 datax初体验 一、什么是datax datax是阿里巴巴开源的一款离线数据同步工具、通过框架。支持在异构数据源之间同步数据。 使用者可以轻松地的在结构化数据（mysql、sqlserver、oracle...）、非结构化数据（mongo、hive...）、结构与非结构之间同步数 阅读全文
posted @ 2019-09-02 21:53 czlfly 阅读(252) 评论(0) 推荐(0) 编辑

2019年8月9日

datax初体验
摘要： 一、什么是datax datax是阿里巴巴开源的一款离线数据同步工具、通过框架。支持在异构数据源之间同步数据。 使用者可以轻松地的在结构化数据（mysql、sqlserver、oracle...）、非结构化数据（mongo、hive...）、结构与非结构之间同步数据。 二、使用datax 2.1 系 阅读全文
posted @ 2019-08-09 17:15 czlfly 阅读(113) 评论(0) 推荐(0) 编辑

导航