摘要:
1.目前etl的fetch task策略是基于任务子孙任务数和任务优先级获得task list 2.然后遍历task list 查看任务是否具备执行条件 集群资源校验(yarn/hdfs) 数据是否准备好(仅mysql task具备),解决主从延迟问题 任务开始时间 任务的父任务是否都执行成功 3. 阅读全文
摘要:
1.目前etl的fetch task策略是基于任务子孙任务数和任务优先级获得task list 2.然后遍历task list 查看任务是否具备执行条件 集群资源校验(yarn/hdfs) 数据是否准备好(仅mysql task具备),解决主从延迟问题 任务开始时间 任务的父任务是否都执行成功 3. 阅读全文
|