02 2024 档案

摘要：数据抽取平台pydatax实现过程中，有2个关键点： 1、是否能在python3中调用执行datax任务，自己测试了一下可以，代码如下： 这个str1就是配置的shell文件 try: result = os.popen(str1).read() except Exception as e: pri 阅读全文

摘要：缘起一： 公司现有数据仓库，是通过kettle从mysql抽取到目标库，运行多年，主要有以下问题， 1，效率低：kettle抽取行数少 2，容错性差：一个表抽取出错就导致后续计算会出问题， 3，扩展性差： 对多库多表等支持不好 近300张表抽取，再加上计算，每天都算到7点，还有2个巨大的计算要等到1 阅读全文