摘要:1.8.1 1 max_threads :同时起这么多个进程处理pyfile2 file_process_interval:在这么长时间(秒)中,一个文件最多执行一次3 run_duration:scheduler的循环什么时候退出4 DagStat中的信息是对DagRun中state的一个统计 5
阅读全文
摘要:flux:1f6f53872f8d1706bc8257f15104384499c01e0e taskinstance = task +date shell exec shell 的内件命令exec执行命令时,不启用新的shell进程,exec是用被执行的命令行替换掉当前的shell进程,且exec命
阅读全文
摘要:自动发掘dag实例 import imp def process_file(self, filepath): mod_name, file_ext = os.path.splitext(os.path.split(filepath)[-1]) if file_ext != '.py': return
阅读全文
摘要:def print_hello(*a,**b): print a print " " print b print 'Hello world!' raise ValueError("pre_paths or find_svr is null") return {"hello":"Hello world
阅读全文
摘要:官网:http://airflow.incubator.apache.org/project.html Here we pass a string that defines the dag_id, which serves as a unique identifier for your DAG. T
阅读全文
摘要:教程:https://airflow.apache.org/docs/stable/index.html 官网: http://airflow.incubator.apache.org/index.html airflow源码:https://github.com/apache/incubator-
阅读全文