2024年2月21日
数据抽取平台pydatax介绍
摘要： 缘起一： 公司现有数据仓库，是通过kettle从mysql抽取到目标库，运行多年，主要有以下问题， 1，效率低：kettle抽取行数少 2，容错性差：一个表抽取出错就导致后续计算会出问题， 3，扩展性差： 对多库多表等支持不好 近300张表抽取，再加上计算，每天都算到7点，还有2个巨大的计算要等到1 阅读全文
posted @ 2024-02-21 15:58 zping 阅读(336) 评论(0) 推荐(2) 编辑